机器学习之线性回归（自学笔记）

一，线性回归的概念

$y=wx+w_0$ 是最简单的一元线性回归模型，如下图所示，线性回归是平面上的一条直线。其中，$w_0$是截距项，它扩大了模型的能力。

二，损失函数

线性回归希望找到一条线可以将坐标系上的点，尽可能的串联在一起。但是实际中，很难将大量的数据点都成功的拟合在一条直线上，使得各个数据点到直线的距离最小，因此用下边的L表示损失函数：

$L=\frac{1}{n}\sum _{i=1}^n(\widehat{y_i}-y_i{)}^2$

其中$y_i$是真实值，$\widehat{y_i}$是使用模型得到的预测值，所使用的损失函数L，也就是均方误差MSE（MEAN,SQUARE,ERROR），也就是我们经常听的最小二乘法。

由此可知，只要使得L最小，就可以使得模型的效果达到最好，L是凸函数，并且存在最小值，所以用求导的方法求取$w$和$w_0$的值
$$\frac{\partial L}{\partial w}=\frac{2}{n}\sum _{i=1}^n(w{x}_i+w_0-y_i)x_i=0$$

$$\frac{\partial L}{\partial w_0}=\frac{1}{n}\sum _{i=1}^n(w{x}_i+w_0-y_i)=0$$

由以上的式子可以求解出$w,w_0$
$$w=\frac{\sum _{i=1}^n{y}_i(x_i-\overline{x})}{\sum _{i=1}^n{x}_i^2-\frac{1}{n}(\sum _{i=1}^n{x}_i{)}^2}$$

$$w0=\frac{1}{n}\sum _{i=1}^n{y}_i(x_i-w{x}_i)$$

以上方法，是求解的数学计算方法，但是当数据量很大的时候，可能会消耗大量的资源，或者当模型不是线性关系的时候，应用其求解就会非常的麻烦，所以需要其他的方法进行解决。

三，梯度下降法

在机器学习中，梯度下降法是很多模型会使用的方法，如下面的公式可知，当$w$变大的时候，L会变大，$w$变小的时候，L会变小。
$$\frac{\partial L}{\partial w}=\frac{2}{n}\sum _{i=1}^n(w{x}_i+w_0-y_i)x_i$$
我们目的是要使，导数变小，

当导数小于0的时候，w变大，使得他们的方向相反

当导数大于0的时候，w变小，使得他们的方向相同

综上，得到w的变化
$$w-\alpha \frac{\partial L}{\partial w}$$
其中$\alpha$是学习率，是（0，1）的常数，目的是控制w的变化幅度，防止w变化过大造成震荡。

当然$\alpha$不宜取值太小，否则会造成学习时间太长，如果取值过大也会造成w震荡的情况。

所以学习率的取值也是很重要的。

四，过拟合和欠拟合

过拟合：模型学习的过多，在训练集上的噪声都学会了，训练集与测试集的误差变大。

欠拟合：训练集上的误差过大，无法将数据点很好的拟合在一起，L也不是最小的。

噪声都学会了，训练集与测试集的误差变大。

欠拟合：训练集上的误差过大，无法将数据点很好的拟合在一起，L也不是最小的。

所以，就要选取合适的模型，以及学习率$\alpha$，当有多个学习率不知道如何选取的时候，可以在训练集上找出一部分数据进行测试，这一部分数据称为有效集。在有效集 表现好的学习率，选择那个学习率作为我们的超参数。