L1正则、L2正则、Batch Normalization、Dropout为什么能够防止过拟合呢？

最近面试,被问到Batch Normalization为什么能够防止过拟合,为什么能够加快收敛速度,一时间没有答上来(失败啊…).现在简单记录下几种深度学习中常用的防止过拟合的技巧,以及为什么能有防止过拟合作用.

L1正则:增加了参数矩阵的稀疏表达(参数矩阵中一部分参数为0),可以进行特征选择,通过保留重要的特征,舍弃不重要特征,达到防止过拟合效果.

L2正则:将参数矩阵(y=wx+b,w就是矩阵参数)中的数变的比较小,这样自变量(网络输入)变化时候(训练数据变为测试数据时候),因变量(网络输出)收到的影响会小,达到防止过拟合效果.

Batch Normalization(防止过拟合):在训练中，BN的使用使得一个mini-batch中的所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果。就是一个batch数据中每张图片对应的输出都受到一个batch所有数据影响,这样相当于一个间接的数据增强,达到防止过拟合作用.
Batch Normalization(加速收敛速度):BN在训练时候,会把每一层的Feature值约束到均值为0,方差为1,这样每一层的数据分布都会一样,在二维等值线上的表现就是圆形,能加快梯度下降法的收敛速度,而且,数据被约束到均值为0 ,方差为1,相当于把数据从饱和区约束到了非饱和区,这样求得的梯度值会更大,加速收敛,也避免了梯度消失和梯度爆炸问题.

dropout:防止参数过分依赖训练数据，增加参数对数据集的泛化能力.
这里可以记下这段话:比如，我们常在影视作品中看到这样的场景，仇人相见分外眼红，一人（A）发狠地说，“你化成灰，我都认识你（B）！”这里并不是说B真的“化成灰”了，而是说，虽然时过境迁，物是人非，当事人B外表也变了很多（对于识别人A来说，B在其大脑中的信息存储是残缺的），但没有关系，只要B的部分核心特征还在，那A还是能够把B认得清清楚楚、真真切切！人类的大脑还是真的厉害啊！
也就是说随机丢掉网络的一部分,相当于每次都有一个新的残缺网络,每个残缺网络都学到不同的局部特征,多个残缺网络就能充分学到数据的局部特征,这样,测试数据不论怎么变,只要有局部特征(就是上面一段话中的化成灰),网络就能起作用(我都认识你),这样比总要比仅在单个健全网络上进行特征学习，其泛化能力来得更加健壮.

总结:4种方法都能防止过拟合,但是防止过拟合的原理不太一样.

参考:https://blog.csdn.net/qq_29462849/article/details/83068421