ML—线性回归系列（三）—岭回归

华电北风吹
日期：2015/11/25

本文主要对岭回归(ridge regression)进行总结。
本系列的第一篇中线性回归的转化为如下的无约束优化问题
$\min_\theta \sum_{i=1}^{m}(y^{(i)}-\theta^Tx^{(i)})^2 \tag{0-1}$
其中，$x^{(i)}\in R^{n\times 1}$表示每个样本都是n维向量，$y^{(i)}$表示样本$x^{(i)}$对应的标签，$\theta\in R^{n\times 1}$表示参数向量。与之等价的矩阵形式为
$\min_\theta ||X\theta-Y||_2^2 \tag{0-2}$
其中$X=(x^{(1)},x^{(2)},...,x^{(m)})^T\in R^{m \times n},Y=(y^{(1)},y^{(2)},...,y^{(m)})^T$.

一、岭回归
岭回归的目标表达式为
$\min \sum_{i=1}^{m}(y^{(i)}-\theta^Tx^{(i)})^2+\lambda \cdot ||\theta||_2^2 \tag{1-1}$
岭回归出现原因：为了防止特征之间线性相关。具体参考本系列第一篇线性回归的矩阵求解部分。

二、岭回归的矩阵求解
可以使用与最小二乘矩阵解法类似的矩阵求导来求解岭回归问题
令 $S(\theta)=\sum_{i=1}^{m}(y^{(i)}-\theta^Tx^{(i)})^2+\lambda \cdot ||\theta||_2$
$\frac{d}{d\theta}S(\theta)=\frac{d}{d\theta}S(\theta)=2X^T(Y-X\theta)+2\lambda \cdot\theta=0$
即$X^TY=(X^TX-\lambda I) \cdot\theta$
解得：
$\theta=(X^TX-\lambda I)^{-1}X^TY \tag{2-1}$

三、岭回归参数$\theta$的SVD几何解释
同本系列第一篇文章对于线性回归的SVD解释，
假设$X \in R^{m\times n}$的SVD分解为
$X=U\Sigma V^T \tag{3-1}$
其中$U=(u_1,u_2,...,u_n)\in R^{m\times n}$,$\Sigma=diag(\sigma_1,\sigma_2,...,\sigma_n) \in R^{n\times n}$,$V=(v_1,v_2,...,v_n) \in R^{n\times n}$，$v_1,v_2,...,v_n$是原始样本空间的一组标准正交基，$u_1,u_2,...,u_n$分别是原始样本在这组基下的正交标准化坐标。
$X^TX=(U\Sigma V^T)^TU\Sigma V^T=V\Sigma U^TU\Sigma V^T=V\Sigma^2V^T \tag{3-2}$
对于线性回归$\theta_{lr}=(X^TX)^{-1}X^TY$可得$\theta_{lr}=\sum_{i=1}^{n}{\frac{1}{\sigma_i}v_iu_i^TY}$
对于岭回归
$\theta_{ridge}=(X^TX-\lambda I)^{-1}X^TY=V(\Sigma^2+\lambda I)^{-1}\Sigma U^TY=\sum_{i=1}^{n}{\frac{\sigma_i}{\sigma_i^2+\lambda}v_iu_i^TY} \tag{3-3}$
对$\lambda$ 定性分析可以发现，岭回归求解的$\theta$相对于线性回归来说要更加偏向于向零收缩，并且随着$\lambda$ 增加收缩幅度更大(如下图)，例如当$\lambda=0$ 时，岭回归和线性回归求解得到的$\lambda$ 是相同的，当$\lambda=\infty$ 时$\theta =0$。

其中$df(\lambda)=\sum_{i=1}^{n}{\frac{\sigma_i}{\sigma_i^2+\lambda}}$

四、参考博客
ML—线性回归系列（一）—线性回
归http://blog.csdn.net/zhangzhengyi03539/article/details/50035265