机器学习 第三章:线性模型
1.基本形式
给定的由d个属性描述的示例x={x1,x2,…xd},(xi是x在第i个属性上的取值),线性模型试图学得一个通过属性的线性组合来进行预测的函数:
f ( x ) = w 1 x 1 + w 2 x 2 + . . . w d x d + b f(x)=w1x1+w2x2+...wdxd+b f(x)=w1x1+w2x2+...wdxd+b
例如在西瓜问题中学得:
f 好 瓜 ( x ) = 0.2 ⋅ x 色 泽 + 0.5 ⋅ x 根 蒂 + 0.3 ⋅ x 敲 声 + 1 f好瓜(x)=0.2·x色泽+0.5·x根蒂+0.3·x敲声+1 f好瓜(x)=0.2⋅x色泽+0.5⋅x根蒂+0.3⋅x敲声+1
综合考虑色泽、根蒂、敲声来判断瓜好不好,其中根蒂最要紧,敲声比色泽更重要。
2.线性回归
对于离散属性:
若属性值间存在‘序’的关系,可通过连续化将其转化为连续值,例如:属性“身高”的取值‘高’ ‘矮’可转化为{1,0}
若属性值间不存在‘序’的关系,假定由k个属性值,则通常转化为k维向量,例如:属性“瓜类”的取值‘西瓜’ ‘南瓜’ ‘黄瓜’(对于不同颜色的瓜,我们不能说西瓜比南瓜好,三者是平等的关系)可转化为(0,0,1),(0,1,0),(1,0,0)
均方误差是回归任务种最常用的性能度量,它对应了常用的‘欧式距离’。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线的欧式距离之和最小(即图中蓝色线段总和最小),即求解w,b使
E ( w , b ) = ∑ i = 1 m ( y i − w x i − b ) 2 E\left( w,b\right) =\sum ^{m}_{i=1}\left( y_{i}-wx_{i}-b\right) ^{2} E(w,b)=i=1∑m(yi−wxi−b)2
最小化的过程。
可以通过使偏导等于0的方法求得
w = ∑ i = 1 m y ( x i − x ‾ ) ∑ i = 1 m x i 2 − 1 n ( ∑ i = 1 m x i ) 2 w=\dfrac{\sum ^{m}_{i=1}y\left( x_{i}-\overline{x}\right) }{\sum ^{m}_{i=1}xi^{2}-\dfrac{1}{n}\left( \sum ^{m}_{i=1}x_{i}\right) ^{2}} w=∑i=1mxi2−n1(∑i=1mxi)2∑i=1my(xi−x)
b = 1 m ∑ i = 1 m ( y i − w x i ) b=\dfrac{1}{m}\sum ^{m}_{i=1}\left( yi-wx_{i}\right) b=m1i=1∑m(yi−wxi)
对于更一般的情形,样本由d个属性来描述,此时称为“多元回归线性模型”,为便于讨论,记:
w ^ = ( w ; b ) \widehat{w}=\left( w;b\right) w
=(w;b)
X = [ x 11 x 12 … x 1 d 1 x 21 x 22 … x 2 d 1 ⋮ ⋮ x m 1 x m 2 … x m d 1 ] X=\begin{bmatrix} x_{11} & x_{12}\ldots & x_{1}d & 1 \\ x_{21} & x_{22}\ldots & x_{2}d & 1 \\ \vdots & \vdots & & \\ x_{m1} & x_{m2}\ldots & x_{md} & 1 \end{bmatrix} X=⎣⎢⎢⎢⎡x11x21⋮xm1x12…x22…