线性回归总结

我们先来了解下最小二乘的思想。**简单的来说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小。**这里的二乘指的是用平方来度量观测点与估计点之间的远近，最小则指的是参数的估计值要保证各个观测点与估计点之间的距离的平方和达到最小。

一元线性回归

假设我们的模型只有一维数据时，模型就是一条直线$f(x)=ax+b$，我们有$m$条训练数据，训练损失函数为误差平方和的平均数：
$$L(a,b)=\frac{1}{m}\sum _{i=1}^m[(a{x}_i+b)-y_i{]}^2$$

可以对a和b分别求导，导数为0时，损失函数最小。

$$\begin{array}{rl}\frac{\partial }{\partial a}L(a,b)=& \frac{2}{m}\sum _{i=1}^m{x}_i(a{x}_i+b-y_i)\\ =& \frac{2}{m}(a\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)\end{array}$$

$$\begin{array}{rl}\frac{\partial }{\partial b}L(a,b)=& \frac{2}{m}\sum _{i=1}^{m}a{x}_i+b-y_i\\ =& \frac{2}{m}(mb-\sum _{i=1}^m(y_i-a{x}_i))\end{array}$$

上面两个公式是损失函数$L$对$a$和$b$进行求偏导。当导数为0时，可以求得损失函数的最小值，即：
$$\{\begin{array}{ll}& \frac{\partial }{\partial a}L(a,b)=0\Rightarrow \frac{2}{m}(a{\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m(y_i-b)x_i)=0\\ & \frac{\partial }{\partial b}L(a,b)=0\Rightarrow \end{array}$$