机器学习 岭回归

机器学习之岭回归

在线性回归模型中，有一个致命的问题，就是对于估计参数$\omega =(X^{T}X{)}^{-1}{X}^{T}Y$，如果$(X^{T}X)$它不可逆那么就会导致无法求出这个参数，另外如果$|X^{T}X|$月接近与0，会使得回归系数趋近于无穷大，这样也是无意义的。为了解决这类问题，我们可以使用岭回归。

另外还有一个问题，那就是过拟合问题，对于样本而言往往会出现数据的量不多，但有非常多的特征，那么这时候就很容易造成过拟合，这种过拟合的表现就是，在训练样本中表现的非常好，一到测试样本使，效果非常差，这也是我们所说的“泛化能力”差。

为了解决这类问题，有以下三种常见方式：

• 增加数据
• 特征选择/特征提取
• 正则化

正则化框架：
$$argmi{n}_w[L(w)+\lambda P(w)]$$
其中$L(w)$是损失函数，$P(w)$是惩罚函数
$$L(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}^2$$
对于惩罚函数，有两种常见的处理方式：

• $L_1:Lasso:P(w)=||w||$
• $L_2:Ridge:P(w)=||w|{|}^2=w^{T}w$

其中$L_2$又称为权值衰减

依照上面的框架，对于岭回归，写出正则化框架式：
$$J(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}^2+\lambda w^{T}w$$

$$=(w^T{X}^T-Y^T)(Xw-Y)+\lambda w^{T}w$$

$$=w^T{X}^{T}Xw-2w^T{X}^{T}Y+Y{Y}^T+\lambda w^{T}w$$

$$=w^T(X^{T}X+\lambda I)w-2w^T{X}^{T}Y+Y^{T}Y$$

那么求$w$的最值，它可以表示为：
$$w=argmi{n}_{w}J(w)$$
$$令\frac{\partial J(w)}{\partial w}=2(X^{T}X+\lambda I)w-2X^{T}Y=0$$

于是我们得到$w=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$，其中$L_2$范数惩罚项的加入使得$(X^{T}X+\lambda I)$满秩，那么就保证了可逆性，使得回归系数$\beta$的估计不再是无偏估计。所以岭回归是以放弃无偏性、降低精度为代价解决病态矩阵问题的回归方法。

最小二乘估计实际上是等效于噪声是服从于高斯分布的极大似然估计

那么我们从贝叶斯角度来看岭回归：$\epsilon$表示的是白噪声
$$对于线性回归方程：f(w)=w^{T}x$$

$$y=w^{T}x+\epsilon 其中\epsilon 是白噪声，且有\epsilon \sim N(0,{\sigma }^2)$$

$$那么有：y|x;w\sim N(w^{T}x,{\sigma }^2)$$

在贝叶斯理论中有：$w\sim N(0,{\sigma }_0^2)$
$$p(w|y)=\frac{p(y|w)\ast p(w)}{p(y)}$$

$$MAP:w=argma{x}_{w}p(w|y)$$

$p(y)$和$w$无关，可以认为是一个常量，那么上式可以变为：
$$w=argma{x}_{w}p(y|w)\ast p(w)$$

$$另外已知p(y|w)和p(w)都是服从正态分布，因此有p(w|y)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(y-w^{T}x{)}^2}{2{\sigma }^2}},p(w)=\frac{1}{\sqrt{2\pi }{\sigma }_0}{e}^{-\frac{||w|{|}^2}{2{\sigma }_0^2}}$$

那么继续对$w$进行变换：

两者相乘之后的系数可以认为是常数，接着对乘积取$log$变成加法形式
$$w=argmi{n}_w\frac{(y-w^{T}x{)}^2}{2{\sigma }^2}+\frac{||w|{|}^2}{2{\sigma }_0^2}$$

$$w=argmi{n}_2(y-w^{T}x{)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}||w|{|}^2$$

$$w_{MAP}=argmin\sum _{i=1}^N(y-w^{T}x{)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}||w|{|}^2$$

可以发现贝叶斯派得到的式子和频率派得到的式子一致