[机器学习 > 周志华]第三章 线性模型

第三章 线性模型

3.1 基本形式

线性模型视图学的一个通过属性的线性组合来进行预测的函数。如公式3-1所示。

[外链图片转存失败(img-zNxWdROn-1564968507771)(https://latex.codecogs.com/gif.download?f(x) %3D w_1x_1+w_2x_2+…+w_dx_d+b)]
它可以用向量形式改写，如公式3-2所示。
[外链图片转存失败(img-KIy4XxqU-1564968472267)(https://latex.codecogs.com/gif.download?f(x) %3D w^Tx+b)]
其中列向量[外链图片转存失败(img-c3Yu5cvl-1564968472269)(https://latex.codecogs.com/gif.download?\mathbf{w} %3D \left ( w1%3Bw2%3B...%3Bwd \right ))]

线性模型形式简单，易于建模，可解释性(comprehensibility)强，向量w和参数b习得之后模型随之确定。

3.2 线性回归

* 单变量线性回归

对于离散属性，如果其值之间存在序关系，可通过连续化将其化为连续值。如“优”，“良”，”差“可以化为{1.0,0.5,0.0}。将该属性当作xi，则单变量线性回归的函数可以表达为如公式3-3所示：
[外链图片转存失败(img-dWv5MF0o-1564968472270)(https://latex.codecogs.com/gif.download?f(x_i) %3D wx_i + b%2C \%3Af(x_i) \simeq y_i)]
该函数的主要参数是w和b，上一节中提到，确定向量w和参数b之后模型随之确定，这里是同样的道理，只是w降维成了标量。

现在假设我们有若干对的(x,y)数据，要求预测出x与y之间的线性关系函数。如果我们任意对w和b取值，那么一定会得到若干个不同的预测函数，我们的任务就是确定哪一对(w,b)确定的线性函数与各个数据点之间的距离之和最小。
由此引入代价函数的概念，如公式3-4所述：
[外链图片转存失败(img-eJEDhj7G-1564968472272)(https://latex.codecogs.com/gif.download?J(w%2Cb) %3D \frac{1}{2m} \sum_{i%3D1}^{m}(f(x_i)-y_i)^2)]
该式中w,b分别为线性回归函数中的两个参数，m为训练样本量，f(xi)为预测函数值，yi为xi对应的实际取值。
这里的代价函数中应用了均方误差评价预测函数的误差程度，它对应于”欧式距离“，在几何上可以得到很多好的解释。基于该方法进行模型求解称为”最小二乘法“。即找到一条直线，使得所有样本到直线上的欧式距离之和最小。在数学上表达为：