【机器学习】 线性回归和最小二乘法

线性回归的一大假设是：误差服从均值为0的正态分布，且多个观测数据之间互不影响，相互独立。

线性回归的误差项 $\epsilon$ 是预测值与真实值之间的差异：

$y_i={\epsilon }_i+{\sum }_{j=1}^n{w}_j{x}_{i,j}={\epsilon }_i+w^T{x}_i$

既然误差项服从均值为0的正态分布，那么：

$P({\epsilon }_i)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{({\epsilon }_i-0{)}^2}{2{\sigma }^2}}$

又有 ${\epsilon }_i=y_i-w^T{x}_i$，那么上式就成了：

$P(y_i|x_i;w)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}}$

即给定 $x_i,y_i$的概率分布，$w$是参数，现在有m个样本观测数据，得到其似然函数：

$L(w)={\Pi }_{i=1}^{m}P(y_i|x_i;w)={\Pi }_{i=1}^m\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}}$

依靠代数方法求解该似然函数的最大值显然很困难，但是若求得 $\ln L(w)=m\frac{1}{\sqrt{2\pi {\sigma }^2}}-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^m(y_i-w^T{x}_i{)}^2$的最大值，也就求出了 $L(w)$ 的最大值（$\ln x$是个单调递增函数），达到了“求最大似然”的目的。

观察上式，优化的是参数 $w$，而$m,\sigma ,\pi$这些针对某组样本来说都是常量，并不在优化过程中起作用，唯一起作用的就是式中的 ${\sum }_{i=1}^m(y_i-w^T{x}_i{)}^2$，这与最小二乘法所优化的损失函数几乎一样，都是“真实值 - 预测值”的平方和，可以说是殊途同归。

直观上来说，最小二乘法是在寻找观测数据与回归超平面之间的误差距离最小的参数。最大似然估计是最大化观测数据发生的概率。当我们假设误差是正态分布的，所有误差项越接近均值0，概率越大。正态分布是在均值两侧对称的，误差项接近均值的过程等同于距离最小化的过程。