dropout

dropout正则化作用：

• dropout定义:Droupout是随机的对神经网络每一层进行丢弃部分神经元操作。

• 减少神经元之间复杂的共适应性。当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。也就是说，有些特征可能会依赖于固定关系的隐含节点，而通过Dropout，它强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，达到好的效果，增强了泛化能力。

• Dropout可以看作是一种随机正则化技术，加入了 dropout 后，输入的特征都存在被随机清除的可能，所以该神经元不会再特别依赖于任何一个输入特征，也就是不会给任何一个输入特征设置太大的权重。通过传播过程，dropout 将产生和 L2 正则化相同的收缩权重的效果。