岭回归与最小二乘法

#! https://zhuanlan.zhihu.com/p/406879862

岭回归与最小二乘法

对于过拟合我们有很多种处理方法，常用的有三种：增加数据、特征选择、正则化。岭回归即我们通常所述的 $l2$ 正则,这里研究一下上一篇文章的最小二乘法的岭回归的形式。
首先回顾一下最小二乘法，$L={\sum }_{i=1}^N\Vert w^T{x}_i-y_i{\Vert }^2$,得到$\hat{w}=\underset{w}{\mathrm{argmin}}L=(X^{T}X{)}^{-1}{X}^{T}Y$
对于岭回归的最小二乘法,
$$\begin{array}{rl}L& =\sum _{i=1}^N\Vert w^T{x}_i-y_i{\Vert }^2+\lambda w^{T}w\\ & =\left(\begin{array}{cccc}{w}^T{x}_1-y_1& w^T{x}_2-y_2& \cdots & w^T{x}_N-y_N\end{array}\right)\left(\begin{array}{c}{w}^T{x}_1-y_1\\ w^T{x}_2-y_2\\ ⋮\\ w^T{x}_N-y_N\end{array}\right)+\lambda w^{T}w\\ & =(w^T{X}^T-Y^T)(Xw-Y)+\lambda w^{T}w\\ & =w^T(X^{T}X+\lambda I)w-2w^T{X}^{T}Y+Y^{T}Y\end{array}$$
$$\begin{array}{r}\frac{\partial L}{\partial w}=2(X^{T}X+\lambda I)w-2X^{T}Y=0\end{array}$$
所以$w=(X^{T}X+\lambda I)X^{T}Y$。

另一个角度看$l2$正则化的最小二乘法

对于最小二乘法中的权重$w$假设$w\sim N(0,{\sigma }_0^2)$。从最大后验角度出发。但是仍有我的上一章的一些结论，文章传送：https://blog.csdn.net/weixin_49708196/article/details/120034186?spm=1001.2014.3001.5501，有结论从极大似然的角度来看最小二乘法是相当于用极大似然估计求噪声为高斯分布的的线性模型，即$y|w,x\sim N(0,{\sigma }^2)$
$$\begin{array}{rl}\hat{w}& =\underset{w}{\mathrm{argmax}}\prod _{i=1}p(w|y_i)\\ & =\underset{w}{\mathrm{argmax}}\prod _{i=1}\frac{p(y_i|w)p(w)}{p(y_i)}\\ & =\underset{w}{\mathrm{argmax}}\prod _{i=1}p(y_i|w)p(w)\\ & =\underset{w}{\mathrm{argmax}}\sum _{i=1}\log (p(y_i|w))+\log (p(w))\\ & =\underset{w}{\mathrm{argmax}}\sum _{i=1}\log (\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{\Vert y_i-w^T{x}_i{\Vert }^2}{2{\sigma }^2}})+\log (\frac{1}{\sqrt{2\pi }{\sigma }_0}{e}^{\frac{\Vert w{\Vert }^2}{2{\sigma }_0^2}})\\ & =\underset{w}{\mathrm{argmin}}\sum _{i=1}\log (\sqrt{2\pi }\sigma )+\Vert y_i-w^T{x}_i{\Vert }^2+\log (\sqrt{2\pi }{\sigma }_0)+\Vert w{\Vert }^2\\ & =\underset{w}{\mathrm{argmin}}\sum _{i=1}\frac{\Vert y_i-w^T{x}_i{\Vert }^2}{{\sigma }^2}+\frac{\Vert w{\Vert }^2}{{\sigma }_0^2}\\ & =\underset{w}{\mathrm{argmin}}\sum _{i=1}\Vert y_i-w^T{x}_i{\Vert }^2+\frac{{\sigma }^2}{{\sigma }_0^2}\Vert w{\Vert }^2\end{array}$$

可以看出上式便是最小二乘法的岭回归，所以我们边可以得到结论最小二乘法的岭回归即是对权重矩阵$w$做了一个假设，假设其服从高斯分布，以此达到衰减权重的目的。