机器学习算法——线性回归

线性回归应该算机器学习算法里面最基础的算法了，分别用作回归（y值为连续值）和分类（y值为离散）。在学习线性回归的过程中，有很多机器学习的概念和方法是在这时候提出的。

在现实中变量之间的关系，是有确定的和非确定的。确定关系指的是变量之间可以使用函数关系式表示，非确定的部分我们可以用概率分布来表示，如一个人的身高对应一定的体重，但不是身高相同体重就一定相同。确定关系里最常用的就是线性关系了。如下

                                                        

把不确定的部分放进来，那么真实的值就可以表示为

                                                    

这个误差值，根据中心极限定理，如果样本数据足够大那么可以认为复符合高斯分布的（也就是正态分布）。把上式带入到高斯分布中，得到下式（消去了不确定项）：

                                                    

接下来就是利用最大似然估计法来化简这个式子

                                                  

我们需要上面的这个似然函数最大，也即需要它右边的项最小，所以目标函数为最小化下式

                                              

对于这个目标函数，有一点需要说的是，在线性回归中，使用最小二乘法也可以得到相同的结果（预测值与实际值的距离最小）。

下面就是如何求解这个得到这个目标函数最小值的问题了。最常规的是采用代数方法，求导然后得到这个函数的驻点。

                                                

得到的解θ值为

这里可以得到解得前提是是可逆的，为了防止其不可逆（是半正定，也就是其模大于等于零，在等于零的时候是不可逆的），加入λ扰动，防止其为零的情况，同时可以防止过拟合。改动后如下

                                               

还有一种方法是采用梯度下降法，这是许多机器学习求解目标函数的通用方法。对梯度下降方法之前有专门写文章讨论过，这里不再赘述。

为了防止出现过拟合的情况，会在目标函数里面加入复杂性惩罚因子，也就是正则项。对正则项我也专门写了文章讨论，这里先不赘述。

在求解线性回归的过程还涉及到一个知识点就是奇异值分解SVD。我们将中的项定义为广义逆矩阵，可以直接与式中y相乘得到解，也称为伪逆。而奇异值分解的定义为

                                               

这样就可以方便求出解了。

另外线性回归可以扩展到高阶的非线性回归，相当于增加维度，多了xi的高阶项。