概述
岭回归，又叫吉洪诺夫正则化，是由Hoerl和Kennard于1970年提出的是一种专用于共线性数据分析的有偏估计回归法。岭回归实际上是一种改良的最小二乘估计法，具有L2正则化的线性最小二乘法。回归算法的，本质就是为了解决一个线性方程，而标准估计方法是普通的最小二乘法的线性回归。
岭回归
线性回归模型的目标函数是
f ( w ) = ∑ i = 1 m ( y i − x i T w ) 2 f(w) = \sum_{i=1}^{m}(y_{i}-x_{i}^{T}w)^{2} f(w)=∑i=1m(yi−xiTw)2
转换为矩阵形式是：
f ( w ) = ( y − X w ) T ( y − X w ) f(w) = (y-Xw)^{T}(y-Xw) f(w)=(y−Xw)T(y−Xw)
从上矩阵可以得到回归系数：
w ^ = ( X T X ) − 1 X T y \hat{w}=(X^{T}X)^{-1}X^{T}y w
最低0.47元/天 解锁文章
388
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
