机器学习Machine Learning中的正则化

正则化（regularization）

简单来说，正则化的目的是为了在overfitting的情形下，通过加入惩罚参数，获得能够平衡bias和variance的一个有偏估计量。

bias和variance的tradeoff

在统计学中，我们的目的是为了得到数据的某些数字特征的估计，例如期望的极大似然估计。估计量是统计中的重要的研究对象，对于同一个待估计的参数，实际上可以得到很多不同的估计量，这里的估计量一般都是样本的函数。为了得到较好的估计，我们希望MSE（mean squared error ）越小越好。
MSE的表达式如上图所示，$\hat{\theta }$是$\theta$的估计量，因此bias和variance有一个tradeoff，也就是，在MSE一定的情况下，当bias很小的时候，variance就会很大，当variance很小的时候，bias就会变高。下面这幅图的模拟结果能更好的说明这个问题。

underfitting和overfitting一般是对应以下的情况。
在underfitting时，variance显然很小，也就是你的拟合函数，估计量即使是更换一组新的样本也变化不大，例如常函数，而此时估计的bias就会相对较大。在overfitting的情形下，bias就会很小，但是是建立在牺牲了一定的variance的基础上，也就是更换样本会使得估计量的波动性很大。理想的估计是能够找到一个bias和variance的一个tradeoff。
以上就是regularization正则化要处理的问题，牺牲一定的bias，获得较小的variance，找到较好的估计量。

正则化

正则化的方法一般是通过在目标函数的基础上，加入一个惩罚项*惩罚系数。具体如下，假设损失函数不加惩罚的损失函数是$J(\mathbf{\omega };\mathbf{X},\mathbf{y})$，目的是为了最小化这个损失函数，得到好的估计量。正则化的方法一般是在此基础上，来优化下面这个损失函数，
$$\tilde{J}(\mathbf{\omega };\mathbf{X},\mathbf{y})=J(\mathbf{\omega };\mathbf{X},\mathbf{y})+\alpha \Omega (\mathbf{\omega })，$$
其中$\mathbf{X},\mathbf{y}$是数据，$\mathbf{\omega }$是待估计的参数，也就是数据所服从的模型或者分布的某些特征值，$\Omega (\mathbf{\omega })$ 是参数$\mathbf{\omega }$的范数。
常见的正则化一般有以下三种，

1. $L_1$惩罚，也叫LASSO；
2. $L_2$惩罚，也叫岭回归；
3. $L_1$和$L_2$惩罚的加权和，也叫弹性网。

$L_1$惩罚

特别地，当$\Omega (\mathbf{\omega })=||\mathbf{\omega }|{|}_1={\sum }_i|\omega {|}_i$时，就是LASSO，$L_1$惩罚。因此所对应的目标函数是，
$$\tilde{J}(\mathbf{\omega };\mathbf{X},\mathbf{y})=J(\mathbf{\omega };\mathbf{X},\mathbf{y})+\alpha ||\mathbf{\omega }|{|}_1.$$
所对应的导数如下，
$${▽}_{\omega }\tilde{J}(\mathbf{\omega };\mathbf{X},\mathbf{y})={▽}_{\mathbf{\omega }}J(\mathbf{\omega };\mathbf{X},\mathbf{y})+\alpha sign(\mathbf{\omega }).$$
加入了$L_1$惩罚之后是怎么使得bias增大，然后variance减小的呢？MSE又有什么变化呢？详细推导见以下。

• [ S1] 对于目标损失函数，$J(\mathbf{\omega };\mathbf{X},\mathbf{y})$在${\omega }^{\ast }$处Taylor展开，得到以下的近似$\hat{J}$,
  $$\hat{J}(\mathbf{\omega })=J({\mathbf{\omega }}^{\ast })+(\mathbf{\omega }-{\mathbf{\omega }}^{\ast }{)}^{{}^{\prime }}{▽}_{\mathbf{\omega }}J(\mathbf{\omega };\mathbf{X},\mathbf{y}){|}_{\mathbf{\omega }={\mathbf{\omega }}^{\ast }}+$$ $$\sum _i[\frac{1}{2}{H}_{ii}({\mathbf{\omega }}_i-{\mathbf{\omega }}_i^{\ast }{)}^2].$$
  特别地，这里取${\mathbf{\omega }}^{\ast }=argmi{n}_{{\mathbf{\omega }}^{\ast }}J(\mathbf{\omega })$，Hessian 矩阵是对角阵。此时的${\mathbf{\omega }}^{\ast }$就是没有加惩罚的估计量，此时，上式会变成，${▽}_{\mathbf{\omega }}J(\mathbf{\omega };\mathbf{X},\mathbf{y}){|}_{\mathbf{\omega }={\mathbf{\omega }}^{\ast }}=0$，而上式会变成以下这种形式，
  $$\hat{J}(\mathbf{\omega })=J({\mathbf{\omega }}^{\ast })+\sum _i[\frac{1}{2}{H}_{ii}({\mathbf{\omega }}_i-{\mathbf{\omega }}_i^{\ast }{)}^2].$$
  此时的尾项${\sum }_i[\frac{1}{2}{H}_{ii}({\mathbf{\omega }}_i-{\mathbf{\omega }}_i^{\ast }{)}^2]$实际上就是一般情形下的渐近MSE，$({\mathbf{\omega }}_i-{\mathbf{\omega }}_i^{\ast })$是bias，而$H_{ii}$是variance。如果是bias很小的估计量，那么方差就会很大。
• [ S2] LASSO是在上面的目标函数的基础上，优化
  $$\hat{J}(\mathbf{\omega })=J({\mathbf{\omega }}^{\ast })+\sum _i[\frac{1}{2}{H}_{ii}({\mathbf{\omega }}_i-{\mathbf{\omega }}_i^{\ast }{)}^2+\alpha |{\omega }_i|].$$
  通过分类讨论，求导的方法，很容易可以得到$L_1$惩罚下的估计量为，
  $${\tilde{\omega }}_i=sign({\omega }_i^{\ast })max\left\{|{\omega }_i^{\ast }|-\frac{\alpha }{H_{ii}},0\right\}.$$
• [ S3]证明$var({\tilde{\omega }}_i)<var({\omega }_i^{\ast }).$
  当${\omega }_i^{\ast }>0$时，有两种结果。第一种是，当${\omega }_i^{\ast }⩽\frac{\alpha }{H_{ii}}$时，也就是$H_{ii}$小的时候，${\tilde{\omega }}_i=0$，这也就是sparsity，而variance也是变为0了。第二种是，当${\omega }_i^{\ast }>\frac{\alpha }{H_{ii}}$时，也就是$H_{ii}$大的时候，$var({\tilde{\omega }}_i)=var({\omega }_i^{\ast }-\frac{\alpha }{H_{ii}})$，$L_1$惩罚没有让最优值变为0，但是收缩了$\frac{\alpha }{H_{ii}}$。

$L_2$惩罚

岭回归实际上也可以得到以上的推导。不同的是，$L_2$惩罚下，${\tilde{\omega }}_i=\frac{H_{ii}}{H_{ii}+\alpha }{\omega }_i^{\ast }$，因此对于$H_{ii}$小的时候，只要${\omega }^{\ast }$不为0，$\tilde{\omega }$就不会是0。而LASSO 会直接变为0。
附上一张Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press. Page 232的对于$L_2$惩罚的解释。

以上是关于正则化的目的及具体过程，关于计算的具体将在另一篇文章中给出。

[1]: Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press.