接上一篇https://blog.csdn.net/qq_29508953/article/details/86494190
为什么要加正则项
- 不是满轶会导致线性回归无穷多解问题,而加入正则项可以解决该问题。
- 加入正则项可以对模型参数有一定的约束,模型参数空间变小,简化了模型,减小了过拟合风险。
加入正则项后的线性回归推导(还是基于最小二乘法)
这里加入的是L2正则项,当然正则项还有L1和L0
线性回归的目标从
变为
按照上一篇https://blog.csdn.net/qq_29508953/article/details/86494190中定义的,,,。上式可以写为
对求导得:
令上式为0,得
令,因为,且,所以
必定可逆。
这样就解决了不是满轶会导致线性回归无穷多解的问题。