L1、L2 正则化的一些原理

L1／L2 正则化与高斯先验／对数先验的 MAP 贝叶斯推断的关系

1. MAP 贝叶斯推断

贝叶斯推断和极大似然的用处一样，都是求生成训练数据的参数 $\theta$ ，但是极大似然估计是基于频率派的思想，而贝叶斯推断是基于贝叶斯派的思想。

MAP（Maximum A Posteriori, MAP）最大后验估计点估计。

$${\theta }_{MAP}=\underset{\theta }{\mathrm{argmax}}p(\theta |x)=\underset{\theta }{\mathrm{argmax}}\log p(x|\theta )+\log p(\theta )$$

$p(\theta )$ 是先验分布，例如考虑具有高斯先验权重的线性回归模型。如果先验是 $N(\theta ;0,\frac{1}{\lambda }{I}^2)$ ，那么 $\log p(\theta )=-\frac{\lambda w^{T}w}{2I^2}+C$，$C$ 是常数，转化为求极小问题可以发现其对应着 $L2$ 权重衰减。因此具有高斯先验权重的 MAP 贝叶斯推断对应着 $L2$ 权重衰减。

2. L2正则化

关于 $L2$ 正则化的形式不再赘述，下面只是从代数角度分析一些 $L2$ 原理。

对于不加正则化的目标函数在最优点 $w^{\ast }$ 处二阶泰勒展开为 $J(w)=J(w^{\ast })+\frac{1}{2}(w-w^{\ast }{)}^{T}H(w-w^{\ast })$ 其中 $H$ 是 $w^{\ast }$ 处的 Hessian 矩阵，一阶项由于等于 0 省略。因为 $w^{\ast }$ 最优，所以可以知道 $H$ 是半正定的。

然后考虑加上 $L2$ 正则的目标函数（在 $w^{\ast }$ 附近） $L(w)=J(w)+\lambda w^{T}w=J(w^{\ast })+\frac{1}{2}(w-w^{\ast }{)}^{T}H(w-w^{\ast })+\lambda w^{T}w$ 。

对其求一阶导令其等于 0 有

$$\lambda w+H(w-w^{\ast })=0$$

得到最优解 $\hat{w}=(H+\lambda I{)}^{-1}H{w}^{\ast }$ ，比较未添加正则项之前的最优解 $w^{\ast }$ 和 $\hat{w}$ 之间的区别，就能明白 $L2$ 正则做了一件什么样的事情。因为 $H$ 半正定，故存在正交矩阵 $Q$ 使得 $H=Q\Lambda Q^T$ ，代入

$$\hat{w}=(Q\Lambda Q^T+\lambda I{)}^{-1}Q\Lambda Q^T{w}^{\ast }=[Q(\Lambda +\lambda I)Q{]}^{-1}Q\Lambda Q^T{w}^{\ast }=Q(\Lambda +\lambda I{)}^{-1}\Lambda Q^T{w}^{\ast }$$

可以看出来权重衰减的效果是针对 $H$ 的特征向量所定义的轴缩放 $w^{\ast }$ 。具体来说，我们根据 $\frac{{\alpha }_i}{{\alpha }_i+\lambda }({\alpha }_i为H的第i个特征值)$ 因子缩放与 $H$ 第 $i$ 个特征向量对齐的 $w^{\ast }$ 的分量，当 ${\alpha }_i>>\lambda$ 时， $w_i$ 受的影响较小，当 ${\alpha }_i<<\lambda$ 时，$w_i$ 会收缩到几乎为 0 。

3. L1 正则化

$L1$ 正则化被定义为 $\Omega (\theta )=||w|{|}_1={\sum }_i|w_i|$ ，即各个参数的绝对值之和。和上面的分析类似，正则化的目标函数 $\hat{J}(w;X,y)=\lambda ||w|{|}_1+J(w;X,y)$ ，其对应的次梯度为

$${▽}_w\hat{J}(w;X,y)=\lambda sign(w)+{▽}_{w}J(w;X,y)$$

如果没有正则项的最优解为 $w^{\ast }$ ，在 $w^{\ast }$ 附近的 $J$ 的为 $J(w)=J(w^{\ast })+\frac{1}{2}(w-w^{\ast }{)}^{T}H(w-w^{\ast })$ ，$H$ 是在 $w^{\ast }$ 的 Hessian 矩阵。为了简化问题，这里假设 $H$ 是对角矩阵，则添加上 $L1$ 正则项的目标函数为

$$\hat{J}(w;X,y)=J(w^{\ast })+\sum _i[\frac{1}{2}{H}_{i,i}(w_i-w_i^{\ast }{)}^2+\lambda |w_i|]$$

关于 $w_i$ 求导求其最小值可得到

w i = s i g n ( w i ∗ ) m a x { ∣ w i ∗ ∣ − λ H i , i , 0 } w_i=sign(w_i^*)max\{|w_i^*|-\frac{\lambda}{H_{i, i}}, 0\} wi​=sign(wi∗​)max{∣wi∗​∣−Hi,i​λ​,0}

对于每个 $i$ ，考虑 $w_i^{\ast }>0$ 的情形， 会有两种可能结果。

(1) $w_i^{\ast }\le \frac{\lambda }{H_{i,i}}$ 的情况。正则化后目标中的 $w_i$ 最优值 $w_i=0$ 。$L1$ 正则化将 $w_i$ 推向 0 。

(2) $w_i^{\ast }>\frac{\lambda }{H_{i,i}}$，$L1$ 正则化不会将其推至 0，而只是向那个方向移动 $\frac{\lambda }{H_{i,i}}$ 的距离。

$w_i^{\ast }<0$ 的情形与此类似。相比于 $L2$ 正则， $L1$ 正则会产生更为稀疏的解。因此 $L1$ 可以用来进行 特征选择 。

上面说 $L2$ 正则是带有高斯先验权重的 MAP，对于 $L1$ 正则化，是带有各向同性的拉普拉斯先验权重的 MAP 。

$$\log p(w)=\sum _i\log Laplace(w_i;0,\frac{1}{\alpha })=-\alpha ||w|{|}_1+n\log \alpha -n\log 2$$

文章来源：花书p142-p144