Regularization（L1、L2）

---

deep learning可以作为很复杂的model，很复杂的model可以很容易在训练数据集中学到更多的东西，对训练数据拟合的非常好，这就很容易造成overfitting的现象，那regularization就可以一定程度避免这一现象发生，regularization就是在loss funcation中添加对参数规范的term，使训练具有一定偏向性，在deep learning中可以添加regularization term以希望参数值越小越好，使得训练出的model更加平滑。

L2 regularization

假设参数集 θ = { w 1 , w 2 , . . . , w n } \theta=\{w_1,w_2,...,w_n\} θ={w1​,w2​,...,wn​}，L2 norm(L2正规化)是对参数求平方和:
$$||\theta |{|}_2=(w_1{)}^2+(w_2{)}^2...+(w_n{)}^2$$

L2 in deep learning

1. loss funcation中添加regularization项：$L^{\prime }(\theta )=L(\theta )+\lambda \frac{1}{2}||\theta |{|}_2$

2. loss funcation对参数$w_i$求梯度：$\frac{\partial L^{\prime }}{\partial w_i}=\frac{\partial L}{\partial w_i}+\lambda w_i$

3. update参数$w_i$：$w_i^{t+1}=w_i^t-\eta \frac{\partial L^{\prime }}{\partial w_i}=w_i^t-\eta (\frac{\partial L}{\partial w_i}+\lambda w_i^t)=(1-\eta \lambda )w_i^t-\eta \frac{\partial L}{\partial w_i}$

Regulization term中$\lambda \frac{1}{2}||\theta |{|}_2$前加了两个因子，$\lambda$作为参数，可以控制整个正则项的对loss的影响程度，$\lambda$越大影响越大，对梯度更新的影响也就越大，$\frac{1}{2}$是为了在求梯度时，去掉$2$这个系数。

根据梯度更新式子$w_i^{t+1}=(1-\eta \lambda )w_i^t-\eta \frac{\partial L}{\partial w_i}$，与原式子$w_i^{t+1}=w_i^t-\eta \frac{\partial L}{\partial w_i}$作比较，在减掉learning rate$\times$gradient之前，将$w_i^t$乘上了系数$(1-\eta \lambda )$，以希望对$w_i^t$进行一次缩放，$\eta$是非常小的，那么缩放的程度取决于$\lambda$，$\lambda$大（使得系数不小于0）则缩放程度大，但通常$\lambda$取值较小，对$w$进行一次微小的缩放，每次更新时都会对$w$缩放一次。使用L2 regularization参数趋向于更小的值，这就叫做Weight Decay(权重衰减)

---

L1 regularization

假设参数集 θ = { w 1 , w 2 , . . . , w n } \theta=\{w_1,w_2,...,w_n\} θ={w1​,w2​,...,wn​}，L1 norm是对每个参数的绝对值求和：
$$||\theta |{|}_1=|w_1|+|w_2|+...+|w_n|$$

L1 in deep learning

1. loss funcation中添加regularization项：$L^{\prime }(\theta )=L(\theta )+\lambda \frac{1}{2}||\theta |{|}_1$

2. loss funcation对参数$w_i$求梯度：$\frac{\partial L^{\prime }}{\partial w_i}=\frac{\partial L}{\partial w_i}+\lambda sgn(w_i)$

3. update参数$w_i$：$w_i^{t+1}=w_i^t-\eta \frac{\partial L^{\prime }}{\partial w_i}=w_i^t-\eta (\frac{\partial L}{\partial w_i}+\lambda sgn(w_i^t))=w_i^t-\eta \frac{\partial L}{\partial w_i}-\eta \lambda sgn(w_i^t)$

在对$w_i$求梯度时，绝对值项$|w_i|$对$w_i$的微分值$\frac{d(|w_i|)}{d{w}_i}$怎么计算，依据绝对值函数，当$w_i<0$时，其导数为-1，当$w_i>0$时，其导数为1，$w_i=0$时，假设其导数为0，可用$sgn(w_i)$的值代替。

根据梯度更新式子$w_i^{t+1}=w_i^t-\eta \frac{\partial L}{\partial w_i}-\eta \lambda sgn(w_i^t)$，与原式子$w_i^{t+1}=w_i^t-\eta \frac{\partial L}{\partial w_i}$作比较，每次更新多加上一项$(-\eta \lambda sgn(w_i^t))$，参数$w_i^t$若为正，则$sgn(w_i^t)$的值为$+1$，相当加上$(-\eta \lambda )$，使得参数$w_i^t$趋于更小值。

---

L1 vs L2

L1和L2对参数$w$的更新公式：
$$\begin{gathered} L1:w_i^{t+1}=w_i^t-\eta \frac{\partial L}{\partial w_i}-\eta \lambda sgn(w_i^t) \\ L2:w_i^{t+1}=w_i^t-\eta \frac{\partial L}{\partial w_i}-\eta \lambda w_i^t \end{gathered}$$
L1和L2虽然它们都是使参数的绝对值变小，但regularization的方式不同：

• L1的regularization是static的值$(-\eta \lambda sgn(w_i^t))$
• L2的regularization是dynamic的值$(-\eta \lambda w_i^t)$

L2的regularization的值与$w$值成正比，$w$绝对值越大则regularization的值越大，参数下降越快，但当参数$w$的绝对值比较小的时候，L2的下降速度就会变得很慢，train出来的参数平均都是比较小的，而L1每次下降一个固定的值，train出来的参数是比较sparse，这些参数有很多是接近0的值，也会有很大的值。

---