线性回归的目标函数为什么是最小二乘

前言

关于线性回归的目标函数的由来，个人一直很好奇，索性自己下去研究了一番，着实有趣，特整理这篇文章，供自已以后翻阅回味，同时也供广大同胞们解解馋。

一、线性回归的似然函数

我们都知道线性回归是用数学方程式的形式去拟合现实生活中的问题，然后期望通过这样的方式能够找到问题的最优解。

这里我们还是以最为经典的波士顿房价预测为例：

前13个属性是特征值，这里为了方便，记作 { x 1 ， x 2 ， . . . ， x 13 } \{x_1，x_2，...，x_{13}\} {x1​，x2​，...，x13​} ，最后一个属性是我们要预测的真实目标值 $\hat{y}$ ，我们假设目标值（房价）和特征之间存在这样的关系：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_{13}{x}_{13}$$
其中 { θ 0 ， θ 1 ， . . . ， θ 13 } \{θ_0，θ_1， ...，θ_{13}\} {θ0​，θ1​，...，θ13​} 分别是截距和特征值的系数，我们的目的就很明显了，就是要求得这一组系数的值，使得房价的真实值 $\hat{y}$ 和房价的预测值 $h_{\theta }(x)$ 之间的差值最小，换句话说，就是让房价的预测值 $h_{\theta }(x)$ 无限的向房价的真实值 $\hat{y}$ 逼近。

实际上，上述房价的预测公式可以改写成以下形式：
$$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_{13}{x}_{13}$$
其中 $x_0$ 恒为 $1$ ，因为最终我们是要求解参数的值，特征值和目标值都是已知的，所以这样的转换是可行的。那么我们将上述场景拓展成一般形式，可以改写成包含参数的 $n$ 维列向量的转置 ${\vec{\theta }}^T=({\theta }_0，{\theta }_1，...，{\theta }_n)$ 与包含特征值的 $n$ 维列向量 $\vec{x}=(x_0，x_1，...，x_n{)}^T$ 的向量内积的形式：
$$h_{\theta }(x)=\sum _{i=1}^n{\theta }_i{x}_i={\vec{\theta }}^T\cdot \vec{x}$$

那么真实值和预测值之间存在如下关系，即线性回归的似然函数为：
$${\hat{y}}^{(i)}={\vec{\theta }}^T\cdot x^{(i)}+{\epsilon }^{(i)}$$
其中 ${\epsilon }^{(i)}$ 表示第 $i$ 个样本的预测值与真实值之间的偏差。

二、中心极限定理

根据中心极限定理：在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以近似服从正态分布的。

类比到这里，我们有两个假设：
①这些随机变量都是相互独立的。
②这些随机变量服从均值为0，方差为某定值 ${\sigma }^2$ 的高斯分布。

所以， ${\epsilon }^{(i)}$ 是独立同分布的。

那么我们就可以写出 ${\epsilon }^{(i)}$ 的概率密度函数：
$$p({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }{e}^{(-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2})}$$

根据线性回归的似然函数 ${\hat{y}}^{(i)}={\vec{\theta }}^T\cdot x^{(i)}+{\epsilon }^{(i)}$ 可将上式改写为：
$$p({\hat{y}}^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{(-\frac{({\hat{y}}^{(i)}-{\vec{\theta }}^T\cdot x^{(i)}{)}^2}{2{\sigma }^2})}$$
这里我们可以看出偏差的概率密度函数与偏差 ${\epsilon }^{(i)}$ 本身就没有关系了，对于已知的参数 ${\vec{\theta }}^T$ 来说，只要给出了特征值 $x^{(i)}$ 的分布，我们就可以得出目标值 ${\hat{y}}^{(i)}$ 的近似分布。

三、极大似然估计MLE

接下来我们就可以使用极大似然估计写出似然概率：
$$L(\theta )=\prod _{i=1}^{m}p({\hat{y}}^{(i)}|x^{(i)};\theta )$$
因为我们假设 ${\epsilon }^{(i)}$ 是独立同分布的，所以多个偏差 $\epsilon$ 的联合概率等于各偏差的边缘概率的乘积：
$$p({\epsilon }^{(1)},{\epsilon }^{(2)},...,{\epsilon }^{(i)})=p({\epsilon }^{(1)})p({\epsilon }^{(2)})...p({\epsilon }^{(i)})$$

我们对似然概率进一步转换：
$$L(\theta )=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }{e}^{(-\frac{({\hat{y}}^{(i)}-{\vec{\theta }}^T\cdot x^{(i)}{)}^2}{2{\sigma }^2})}$$

四、对数似然

在这里为了方便后续的计算（连乘和指数形式不方便后续求导），我们对原似然概率函数取对数进行求解，而且取对数操作之后，不会影响原函数的单调性。
$$l(\theta )=logL(\theta )$$
$$=log\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }{e}^{(-\frac{({\hat{y}}^{(i)}-{\vec{\theta }}^T\cdot x^{(i)}{)}^2}{2{\sigma }^2})}$$
$$=\sum _{i=1}^{m}log(\frac{1}{\sqrt{2\pi }\sigma }{e}^{(-\frac{({\hat{y}}^{(i)}-{\vec{\theta }}^T\cdot x^{(i)}{)}^2}{2{\sigma }^2})})$$
$$=mlog\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^m({\hat{y}}^{(i)}-{\vec{\theta }}^T\cdot x^{(i)}{)}^2$$
我们的目的是要求似然概率函数的极大值，即：
$$max(l(\theta ))=max(mlog\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^m({\hat{y}}^{(i)}-{\vec{\theta }}^T\cdot x^{(i)}{)}^2)$$
因为对于给定的随机变量， $m$ 和 ${\sigma }^2$ 都是已知的，所以上述求最大值的问题可以等价转换为：
$$min(\frac{1}{2}\sum _{i=1}^m({\hat{y}}^{(i)}-{\vec{\theta }}^T\cdot x^{(i)}{)}^2)$$

即我们要求解一组参数 ${\vec{\theta }}^T$ ，使得下式能取得最小值：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-{\hat{y}}^{(i)}{)}^2$$
这个式子我想大家应该就很眼熟了吧，没错，它就是最小二乘法！至此，关于线性回归的目标函数（或者损失函数、代价函数）为什么是最小二乘，我相信大家读到这儿就应该能领悟了！！！