正则化——参数范数惩罚

正则化的定义：“对学习算法的修改——旨在减少泛化误差而不是训练误差。”
直观理解：正则化就是用来减少模型过拟合的一种策略。

接下来介绍的是正则化最常见的方法之一——对模型的权重进行 $L^1$ 和 $L^2$ 正则化。
所谓的 $L^1$ 和 $L^2$ 正则化，其实就是利用了 $L^1$ 和 $L^2$ 范数，来规范模型参数（权重$w$）的一种方法。

范数，我们可以理解为就是对空间中两点的距离这个概念进行了扩充。例如权重$w$，它是一个高维向量，也可以理解为是空间中的一个点，它到原点的距离，如果是曼哈顿距离的话就是 $L^1$ 范数，如果是欧氏距离的话就是 $L^2$ 范数。

• $L^0$ 范数：向量中非零元素的个数。
• $L^1$ 范数：$||W|{|}_1=|w_1|+|w_2|+...+|w_i|$ （曼哈顿距离）
  
• $L^2$ 范数：$||W|{|}_2=\sqrt{|w_1{|}^2+|w_2{|}^2+...+|w_i{|}^2}$ （欧氏距离）
  

由于真正带来过拟合问题的是权重$w$，为了简单起见，在下面的讨论中，我们只重点考虑$w$。

1. L2 参数正则化

$L^2$ 参数正则化通常被称为权重衰减，它通过向目标函数添加一个 正则项 $\Omega (\theta )=\frac{1}{2}||ww|{|}_2^2$ ，使权重更加接近原点。

那么问题来了：$L^2$ 参数正则化为什么被称为权重衰减呢？他是怎么使权重得到衰减的呢？

损失函数： $J(ww,b)$
权重更新： $ww=ww-ϵ\cdot {▽}_{w}J(ww)$
对于损失函数$J(W,b)$ ，我们想要找到一组参数 $({ww}^{\ast },b^{\ast })$ 来 minimize$J(ww,b)$ 。

为了简单起见，我们只考虑权重 $w$，这样模型的目标函数就是：
$$\tilde{J}(ww;XX,yy)=\frac{\alpha }{2}{w}^{T}w+J(ww;XX,yy)$$其中， $\alpha \in [0,\infty )$ 被称为衰减率，是权衡范数惩罚项 $\Omega$ 和 标准目标函数 $J$ 相对贡献的超参数。将 $\alpha$ 设置为0表示没有正则化；$\alpha$ 越大，对应正则化惩罚越大。在求解过程中，我们通过缩放惩罚项 $\Omega$ 的超参数 $\alpha$ 来控制 $L^2$ 权重衰减的强度。

与目标函数对应的梯度为：${▽}_w\tilde{J}(ww;XX,yy)=\alpha w+{▽}_{w}J(ww;XX,yy)$

使用单步梯度下降来更新权重： $w\leftarrow w-ϵ(\alpha w+{▽}_{w}J(ww;XX,yy))$
换种写法就是：$w\leftarrow (1-ϵ\alpha )w-ϵ{▽}_{w}J(ww;XX,yy)$

我们可以看到，加入权重衰减后会引起学习规则的修改，在每次执行梯度更新前都会先收缩权重向量。

这样，对于权重衰减，我们可以直观地理解为：权重衰减就是增加了一些惩罚项去惩罚权重，每一次学习都惩罚一点，让权重不至于取值太大。

前面介绍的是 $L^2$ 正则化在单步梯度下降中对权重的影响，那么它在训练的整体过程会产生什么样的影响呢？
首先先要明确一下我们的目标，我们的目标是想要控制一下参数，使参数的取值不要太大。按照这种思路，我们可以给 $w$ 划定一个可行域，让 $w$ 这个区域内进行取值。

可行域：$||ww|{|}_2-C\le 0$ （即 $ww$ 在空间中对应的点到原点的距离是 $\le C$ 的。）

接下来我们从拉格朗日乘数法的角度来理解 $L^2$ 正则化在整体训练过程中的影响。
目标函数我们可以写成： $\tilde{J}(ww,\lambda )=J(ww)+\lambda (||ww|{|}_2-C)$

在这个图中，红色的线是损失函数的等高线，绿色的线是我们给 $w$ 划定的可行域范围。

• 目标函数中的 $C$ 决定了我们给权重 $w$ 划定的可行域范围的大小；
• $\lambda$ 是拉格朗日乘子，它的作用就是用来调节约束条件对应的梯度，使其与损失函数的梯度大小相等。
  

通过这张图我们可以很明显地看出，通过 $L^2$ 范数来限制 权重$w$ 的取值范围，可以避免 $w$ 取值太大，从而减少模型的过拟合现象。

因为 $L^2$ 范数对应的可行域是一个凸集，梯度下降法本身也是一个凸优化方法，因此我们用 $L^2$ 范数对 $w$ 进行约束，我们要解决的问题就还是一个凸优化问题。

我们可以把参数范数惩罚看作是对权重强加的约束。
假设我们找到的衰减率的最优值为 ${\alpha }^{\ast }$，通常我们不知道权重衰减系数（即衰减率 ${\alpha }^{\ast }$）约束的区域的大小，因为 ${\alpha }^{\ast }$ 的值不能直接告诉我们 $C$ 的值。原则上我们可以解得 $C$，但 $C$ 和 ${\alpha }^{\ast }$ 之间的关系取决于 $J$ 的形式。
虽然我们不知道约束区域的确切大小，但可以通过增加或减小 $\alpha$ 来大致扩大或收缩约束区域。较大的 $\alpha$ ，将得到一个较小的约束区域，较小的 $\alpha$ ，将得到一个较大的约束区域。
有时候我们希望使用显式的限制，而不是惩罚。比如，我们可以修改下降算法（如 随机梯度下降算法），使其先计算 $J(\theta )$ 的下降步，然后将 $\theta$ 投影到满足 $\Omega (\theta )<C$ 的最近点。如果我们知道什么样的 $C$ 是合适的，而不想花时间寻找对应于此处 $C$ 的 $\alpha$ 值，这会非常有用。

摘录于《Deep Learning》第7.2节

2. L1 参数正则化

与 $L^2$ 正则化类似，利用 $L^1$ 正则化对权重进行衰减时，我们也是通过缩放惩罚项 $\Omega$ 的超参数 $\alpha$ 来控制 $L^1$ 权重衰减的强度。
惩罚项 $\Omega$ 可以表示为：$\Omega =||w|{|}_1=\sum |w_i|$

模型的目标函数可以表示为：
$$\tilde{J}(ww;XX,yy)=\alpha ||ww|{|}_1+J(ww;XX,yy)$$

对应的梯度：（实际上是次梯度）
$${▽}_w\tilde{J}(ww;XX,yy)=\alpha sign(ww)+{▽}_{w}J(ww;XX,yy)$$其中，$sign(ww)$ 只是简单地取 $w$ 各个元素的正负号。

使用单步梯度下降来更新权重： $w\leftarrow w-ϵ(\alpha sign(ww)+{▽}_{w}J(ww;XX,yy)$
换种写法就是：$w\leftarrow w-ϵ\alpha sign(ww)-ϵ{▽}_{w}J(ww;XX,yy)$

我们可以看出，$L^1$ 正则化的效果和 $L^2$ 不大一样， $L^2$ 正则化是在每次更新参数前先对 $w$ 进行线性缩放，而 $L^1$ 正则化则是添加了一个与 $sign(ww)$ 同号的常数。

简单线性模型具有二次代价函数，我们可以通过泰勒级数表示。
我们设想 该目标函数对应的梯度是逼近更复杂模型的代价函数的阶段泰勒级数，那么梯度可以写成： ${▽}_w\tilde{J}(ww)=H(w-w^{\ast })$
其中，$H$ 是 损失函数$J$ 在 $w^{\ast }$ 处的 Hessian矩阵。

我们假设 Hessian是对角的，且模型的输入数据已经经过了预处理，去除了输入特征之间的相关性。那么我们可以就将 $L^1$ 正则化的目标函数的二次近似分解成关于参数的求和：
$$\tilde{J}(ww;XX,yy)=J({ww}^{\ast };XX,yy)+\sum [\frac{1}{2}{H}_{i,i}(w_i+w_i^{\ast }{)}^2+\alpha |w_i|]$$
函数的解析解（对每一维$i$）可以表示为：
$$w_i=sign(w_i^{\ast })max(|w_i^{\ast }|-\frac{\alpha }{H_{i,i}},0)$$
这样的话就会有两种可能的结果：

1. $|w_i^{\ast }|-\frac{\alpha }{H_{i,i}}\le 0$ 时，正则化后目标函数中 $w_i$ 的最优值是 $w_i=0$，$L^1$ 正则化项将 $w_i$ 推至0，这样的话第 $i$ 个特征的贡献将会被抵消。
2. $|w_i^{\ast }|-\frac{\alpha }{H_{i,i}}\ge 0$ 时，$L^1$ 正则化项不会将 $w_i$ 推至0，而仅仅是在 $w_i$ 方向上移动 $\frac{\alpha }{H_{i,i}}$ 的距离。

这样，经过 $L^1$ 正则化后我们会得到更稀疏(sparse) 的解，因此 $L^1$ 正则化 也被广泛应用于特征选择(feature selection)机制。

接下来我们看一下 $L^1$ 正则化在训练的整体过程中的影响：
与 $L^2$ 正则化类似，我们我们给 $w$ 划定一个可行域，让 $w$ 这个区域内进行取值。

可行域：$||ww|{|}_1-C\le 0$ （即 $ww$ 在空间中对应的点到原点的距离是 $\le C$ 的。）

在这个图中，红色的线是损失函数的等高线，绿色的线是我们给 $w$ 划定的可行域范围。

从这个图中我们也可以看出， $L^1$ 正则化给参数划定的范围 与 损失函数的等高线 相切的点更容易是在坐标轴上，这样就会使得 权重 $w$ 的某些项上有值，某些项上是0，这样就会导致输入的特征只有一部分起作用，而不是所有的特征都起作用。

3. 参数范数惩罚

对上面的讨论进行总结：基于参数范数惩罚的正则化策略 通过对目标函数 $J$ 添加一个惩罚项 $\Omega (\theta )$ 来限制模型的学习能力，从而减少过拟合现象的发生。
我们将正则化后的目标函数记为 $\tilde{J}$ ：
$$\tilde{J}(ww;XX,yy)=J(ww;XX,yy)+\alpha \Omega (\theta )$$其中， $\alpha \in [0,\infty )$ 被称为衰减率，是权衡范数惩罚项 $\Omega$ 和 标准目标函数 $J$ 相对贡献的超参数。将 $\alpha$ 设置为0表示没有正则化；$\alpha$ 越大，对应正则化惩罚越大。在求解过程中，我们通过缩放惩罚项 $\Omega$ 的超参数 $\alpha$ 来控制 $L^2$ 权重衰减的强度。

在神经网络的情况下，有时会希望对每一层使用单独的惩罚，并分配不同的 $\alpha$ 系数。由于寻找合适的多个超参数代价很大，因此为了减少搜索空间，我们会在所有层使用相同的权重衰减。