脊回归(Ridge Regression)

脊回归的来源
在线性回归算法的过程中,使用最小二乘法计算线性回归模型参数的时候,如果设计矩阵X存在多重共线性,那么最小二乘法对输入变量中的噪声是十分敏感的,容易导致估计的不稳定性,因此引入了脊回归。

多重共线性
线性回归模型中的解释变量存在精确的相关关系和较大的相关性从而使模型估计难以精确计算。

脊回归
当设计矩阵X存在多重非线性的时候(病态矩阵),最小二乘法解出来的参数w在数值上会非常的大,对于回归模型y=wTx,如果w的数值非常大,那么如果输入变量有一个微小的变动,都会导致y发生较大的改变。

因此如果能对w进行限制,那么模型对噪声的敏感度就会降低、如果惩罚项是参数的l2范数,就是脊回归(Ridge Regression)。如果惩罚项是参数的l1范数,就是套索回归(Lasso Regression)

脊回归

对于脊回归就是在原先的损失函数的基础上新加一个参数l2范数的惩罚项,其损失函数为如下形式:

Jm=minw{||XwY||2+α||w||2}

α的数值越大,惩罚项的作用越明显;α的数值越小,惩罚项的作用越小。

参考文献:https://www.zybuluo.com/Duanxx/note/398537

阅读更多
版权声明:转载请注明出处 http://blog.csdn.net/TwT520Ly https://blog.csdn.net/TwT520Ly/article/details/79979281
个人分类: 机器学习
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭