线性回归的数学推导

线性回归是最基础的算法，同时也是其他高级算法的根基，下面就和大家一起进攻基础算法之线性回归。

线性回归模型是用一条曲线去拟合一个或多个自变量 x 与因变量 y 之间关系的模型，那模型的好坏关键在于真实值与预测值之间的差异 。

一般表达式

                                             

向量表达式

                                                 

上面表达式得到的是预测值，而预测值与真实值之间的差异用误差  来表示。于是，每一个样本的真实值与预测值之间存在这样的关系：

                                                  

其中是真实值，是预测值，是误差。

误差是独立同分布的，并且服从均值为0方差为的高斯分布（也称为正态分布）。补充：正态分布的均值和方差取不同值，得到不同的分布图，但均值为0，方差为1的分布称为标准正态分布。

其中，高斯分布表达式为：

                                               

由于误差服从均值为0方差为的高斯分布，所以满足：

                                                  

于是得到：

                                                   

该式子表示和结合后的值与接近的概率，即误差最小的概率，即概率越大，说明预测值与真实值越接近。

由于线性回归模型是一条直线（或超平面）拟合多个点，所以需要满足所有误差取得最小值，即所有概率的乘积最大化，符合似然函数：

                   

上式中需要找到能使得概率连乘最大化，也就是预测值与真实值无限接近。

由于连乘难解，所以需要转化成加法，取对数得：

                          

                                                 

上面的式子中，第一项是确定值，而第二项是变动值，所以要使得最大，即要使得最小化，于是得到损失函数

                          

求损失函数取得最小值时的 ，下面利用矩阵求导来进行求解。

目标函数为：

                         

求偏导：

                   

另偏导数为0，得：

                                                       

得到的可以使得预测值尽可能接近真实值。

矩阵求导可参考：https://blog.csdn.net/nomadlx53/article/details/50849941