机器学习基石——线性回归加入正则项

最新推荐文章于 2024-07-23 16:44:14 发布

周二下午多云转小雨

最新推荐文章于 2024-07-23 16:44:14 发布

阅读量754

点赞数

分类专栏：算法人工智能文章标签：机器学习线性回归正则项正则化

本文链接：https://blog.csdn.net/qq_29508953/article/details/86656810

版权

人工智能同时被 2 个专栏收录

9 篇文章 0 订阅

订阅专栏

算法

8 篇文章 0 订阅

订阅专栏

接上一篇https://blog.csdn.net/qq_29508953/article/details/86494190

为什么要加正则项

$\mathbf{X}$^\mathrm{T}$\mathbf{X}$$ 不是满轶会导致线性回归无穷多解问题，而加入正则项可以解决该问题。
加入正则项可以对模型参数有一定的约束，模型参数空间变小，简化了模型，减小了过拟合风险。

加入正则项后的线性回归推导(还是基于最小二乘法)

这里加入的是L2正则项，当然正则项还有L1和L0

线性回归的目标从

$\left ( \boldsymbol{\mathbf{w}}^*,b^* \right )= \mathop{arg min} \limits_{\left ( \boldsymbol{\mathbf{w}},b \right )}\sum\limits_{i=1}^m {\left (\boldsymbol{\mathbf{w}}\mathbf{x}_i+b-y_i \right )^2}$

变为

按照上一篇https://blog.csdn.net/qq_29508953/article/details/86494190中定义的 ${\hat{\boldsymbol{\mathbf{w}}}}$ , ${\hat{\boldsymbol{\mathbf{w}}}}^*$ , $\mathbf{X}$ , $\boldsymbol{\mathbf{y}}$ 。上式可以写为

$\hat{\mathbf{w}}^*= \mathop{arg min} \limits_{\hat{\mathbf{w}}}\left ( \mathbf{y}-\mathbf{X}\hat{\mathbf{w}} \right )^\mathrm{T}\left ( \mathbf{y}-\mathbf{X}\hat{\mathbf{w}} \right )+\lambda \left (\left[ \begin{array}{ccc} \mathbf{I}_n & 0 \\ 0 & 0 \\ \end{array} \right]\hat{\mathbf{w}} \right )^\mathrm{T}\left (\left[ \begin{array}{ccc} \mathbf{I}_n & 0 \\ 0 & 0 \\ \end{array} \right]\hat{\mathbf{w}} \right )$

对 ${\hat{\boldsymbol{\mathbf{w}}}}$ 求导得：

$2\boldsymbol{\mathbf{X}}^\mathrm{T}\left (\boldsymbol{\mathbf{X}}\hat{\boldsymbol{\mathbf{w}}}-\boldsymbol{\mathbf{y}} \right )+2\lambda \left[ \begin{array}{ccc} \mathbf{I}_n & 0 \\ 0 & 0 \\ \end{array} \right]\hat{\mathbf{w}}$

令上式为0,得

$\left (\mathbf{X}^\mathrm{T}\mathbf{X}+\lambda\left[ \begin{array}{ccc} \mathbf{I}_n & 0 \\ 0 & 0 \\ \end{array} \right]\right )\hat{\mathbf{w}}=\boldsymbol{\mathbf{X}}^\mathrm{T}\mathbf{y}$

令 $\mathbf{M} = \mathbf{X}^\mathrm{T}\mathbf{X}$ ，因为 $\mathbf{M}_{ n+1 }_{ n+1 }=1$ ，且 $\lambda> 0$ ，所以

$\left (\mathbf{X}^\mathrm{T}\mathbf{X}+\lambda\left[ \begin{array}{ccc} \mathbf{I}_n & 0 \\ 0 & 0 \\ \end{array} \right]\right )$

必定可逆。

这样就解决了 $\mathbf{X}$^\mathrm{T}$\mathbf{X}$$ 不是满轶会导致线性回归无穷多解的问题。

周二下午多云转小雨

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
机器学习基石——线性回归加入正则项

接上一篇https://blog.csdn.net/qq_29508953/article/details/86494190为什么要加正则项不是满轶会导致线性回归无穷多解问题，而加入正则项可以解决该问题。加入正则项可以对模型参数有一定的约束，模型参数空间变小，简化了模型，减小了过拟合风险。加入正则项后的线性回归推导(还是基于最小二乘法)这里加入的是L2正则项，当然正则项还有L1和...
复制链接

扫一扫

专栏目录