岭回归是一种改进的线性回归算法，用于处理因变量和自变量间存在高度相关性导致的普通最小二乘法敏感问题。通过引入惩罚项α，岭回归可以降低模型的方差，提高模型对共线性的鲁棒性。在Python中，可以使用sklearn库的Ridge模型进行训练。
岭回归
在通过普通最小二乘法来求函数的参数时，我们使用了求偏导的方法。这个方法本身没有问题，但是却要求各参数之间没有影响。比如，我们在对房价进行预测时，我们统计了房屋面积和房间数量，这两个变量这件是有影响的，房间数量越多，房屋的面积响应也会越大，这就叫做相关性。当各变量之间的线性相关性越大，会导致最小二乘估计对于随机误差非常敏感，可能产生很大的方差。那么有没有一种算法可以减小甚至消除这种相关性呢。岭回归算法就可以做到。岭回归通过对系数的大小施加惩罚项，来解决普通最小二乘法 的一些问题。
在普通最小二乘法中，我们优化的函数是
min ω ∑ i = 1 n ( X ω − y i ) 2 \underset{\omega }{\mathop{\min }}\,\sum\limits_{i=1}^{n}{
{
{\left( X\omega -{
{y}_{i}} \right)}^{2}}} ωmini=1∑n(Xω−yi)2
岭回归稍有不同，最小化的是带罚项的残差平方和：
min ω ∥ X ω − y ∥ 2 2 + α ∥
最低0.47元/天 解锁文章
扫一扫
2389
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
