L1和L2正则化

正则化的定义

在DL中，凡是能够减少过拟合的方法都叫做“正则化”。

常见的正则化方法（减少过拟合的方法）：

• $L_1$正则化
• $L_2$正则化
• BN
• Dropout
• Data Augment
• …

$L_1$和$L_2$正则化的定义

$L_1$就是取 绝对值的和
$L_1$就是取 平方和再开根号

---

$L_1$:
$$||x|{|}_i=|x_1|+|x_2|+...+|x_n|$$

---

$L_2$:
$$||x|{|}_i=\sqrt{|x_1^2|+|x_2^2|+...+|x_n^2|}$$

$L_1$与$L_2$正则化的区别

$L_2$正则化

$L_2$正则化就是单纯的将参数$w_i$变小。因为如果$w_i$太大，对于训练来说没啥影响，总会拟合出一个不错的结果。但对于测试就影响很大了。

最简单的例子，在测试阶段，我们输入的图像有噪声，那么过大的$w_i$也会放大噪声，这不利于模型的Inference。

$L_1$正则化

$L_1$带来了稀疏性。

举个例子来解释：比如我们想要识别一只猫，对于$L_2$正则化，它就单纯的将$w_i$减小，但是判断是不是一只猫仍然需要两个特征→猫胡子和猫耳朵，这就和我们的之前提到赫布学习理论的道理是一样的，与猫相关的神经元得同时激活，共同评判。

---

但对于$L_1$正则化来说，y轴上有两个值，与$L_2$正则化相比，$L_1$正则化将猫的两个特征剥离了，不需要两个特征共同配合，这就引入了稀疏性。

Note:

1. 这里的横轴和纵轴是简化的，不只只有这么两条轴，在神经网络中有很多的轴（因为起码得比特征高一维你才可以进行分类）。
2. 不管是使用$L_1$正则化还是$L_2$正则化，都会带来一定的数据偏差，但是这个偏差并没有我们想象中那么大，所以我们可以忽视它。