神经网络作深原因及dropout防止过拟合原因

 网络加深原因：

深度学习不是模型，更像是一个框架，加上各种模型，构成新的模型。

 与单层神经网络相比，深层次神经网络可在具有相同表示能力的前提下，具有更低的时间复杂度。简化模型

 

深层神经网络难以训练：

因为存在梯度消失问题，底层的神经元可能就训练不到了

解决方法：

layer-wise pretraing：即一层一层的来优化，用RBM/autoencoding方法，解决梯度消失的问题，目前用的不多了。

如何防止过拟合：

 

正则，提前终止，加噪声（dropout）来防止过拟合

dropout理论上取0.5最好，实际需要调参。

 

dropout可以防止过拟合原因：

 实际上相当于把模型分成好多个小的模型进行训练（集成学习的思想）这样最后再进行集成，就会防止过拟合。