岭回归
在线性回归模型中,其参数估计公式为 β=(XTX)-1XTY ,当 XTX 不可逆时无法求出 β ,另外如果 |XTX| 越趋近于0,会使得回归系数趋向于无穷大,此时得到的回归系数是无意义的。解决这类问题可以使用岭回归
推导过程
线性回归的目标函数
J(β)=∑(y-Xβ)2
为了保证回归系数 β 可求,岭回归模型在目标函数上加了一个L2范数的惩罚项
J ( β ) = ∑ ( y − X β ) 2 + λ ∣ ∣ β ∣ ∣ 2 2 = ∑ ( y − X β ) 2 + ∑ λ β 2 J(\beta)=\sum{(y-X\beta)^{2}}+\lambda||\beta||_{2}^{2}\\ =\sum{(y-X\beta)^{2}}+\sum{\lambda\beta}^{2} J(β)=∑(y−Xβ)2+λ∣∣β∣∣22=∑(y−