dropout降低过拟合的原理,神经网络中解决过拟合

1、深度学习中 dropout 和 batch normlization 可以减少过拟合,原理是什么？

原理如下：

二者的机制是有差别的。过拟合的原因，就是使用了对问题而言过于复杂的表述，所以缓解过拟合的基本方法就是降低对问题表述的复杂度。

BN实现这一点的机制是尽量在一个更平滑的解子空间中寻找问题的解，强调的是处理问题的过程的平滑性，隐含的思路是更平滑的解的泛化能力更好，Dropout是强调的鲁棒性，即要求解对网络配置的扰动不敏感，隐含思路是更鲁棒的解泛化能力更好。

从这个机制看，Dropout对过拟合的控制机制实际上更直接更表面化更简单粗暴，而BN则要间接一点，但是更底层更本质。但是二者的机制有差别又有重叠，平滑和鲁棒二者常常是一致的，但又不完全一致，不能简单说哪个效果更好。

但从机制上看，BN的思想在统计上似乎应该更好一点，但是由于BN用于约束平滑性的手段本身并不完备，只是选用了一种控制模式，所以并不能完全体现其控制平滑性的思想，所以BN对泛化性能的实际影响也不是非常大。

过拟合的定义就是指选择的模型所包含的参数过多（模型复杂度过大），导致这个模型对于已知数据的预测能力好，但是对未知数据的预测能力差。

dropout就是做剪枝，自然降低了模型复杂度减少了过拟合。

batch normlization一般来说是用来加速的和解决一些极端的梯度的情况，如果说强行说可以减少过拟合的