岭回归
在线性回归模型中，其参数估计公式为 β=(XTX)-1XTY ，当 XTX 不可逆时无法求出 β ，另外如果 |XTX| 越趋近于0，会使得回归系数趋向于无穷大，此时得到的回归系数是无意义的。解决这类问题可以使用岭回归
推导过程
线性回归的目标函数
J(β)=∑(y-Xβ)2
为了保证回归系数 β 可求，岭回归模型在目标函数上加了一个L2范数的惩罚项
J ( β ) = ∑ ( y − X β ) 2 + λ ∣ ∣ β ∣ ∣ 2 2 = ∑ ( y − X β ) 2 + ∑ λ β 2 J(\beta)=\sum{(y-X\beta)^{2}}+\lambda||\beta||_{2}^{2}\\ =\sum{(y-X\beta)^{2}}+\sum{\lambda\beta}^{2} J(β)=∑(y−Xβ)2+λ∣∣β∣∣22=∑(y−
最低0.47元/天 解锁文章
281
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
