最小二乘法多元线性回归_数学基础2：线性回归&最小二乘法

主要介绍了最小二乘法的相关内容，包括最小二乘法的矩阵表达和推导，从概率视角来观察最小二乘法（加入高斯噪声的最小二乘估计），正则化（包括一阶正则：lasso，二阶正则ridge也就是岭回归等内容），最后介绍了从贝叶斯视角来看岭回归的思路和结论。

最小二乘法的矩阵表达形式

概率视角看线性回归

加入高斯噪声进行极大似然估计，可以发现，当噪声服从高斯分布的时候，最小二乘法与线性回归的极大似然估计的结论是等价的。

线性回归的正则化

在线性回归中引入正则化是因为数据量不够大容易造成过拟合的现象。正则化可以理解为对参数空间添加惩罚项。

可以发现在添加惩罚项之后的参数估计值中绿线部分变为一定可逆的，从而也保证了参数的估计一定有解。

从贝叶斯视角看岭回归

可以发现从贝叶斯角度来看等到的参数估计的结论与加入正则化项（ridge）的最小二乘法得到的结论是一样的。