线性回归2：最小二乘法概率视角

在线性回归1：最小二乘法及其几何意义这篇文章中我们给出了最小二乘估计的损失函数并推出了其闭合解，最后从几何角度推出了与解析法同样的结果。

现在我们从概率的视角理解最小二乘法。

先列出前面的结论：

对于样本来说，由于具有噪声，不可能使得拟合误差为零。我们假设噪声是服从高斯分布的：

因此，y可以写为：

进一步：    

因此，y的分布可以写为：

使用最大似然估计法：

    所以w的估计为：

可以看到，这与本文最开始所列出的对w的估计是一样的。我们就有以下结论：

最小二乘估计其实隐藏了噪声服从零均值高斯分布的这样的假设。