DropOut

DropOut本身随机将网络的一部分激活函数置零。一般在全连接层使用。少部分情况也会在卷积层使用。.

dropout本身避免了特征或者参数之间的互相适应，在某种程度上可以抑制过拟合。或者在某种意义上来说，是在一个模型中实现集成学习。同时集成的数目十分巨大。

dropout本身会彻底改变神经网络的运算方式，在测试时，用DropOut的概率乘以输出值。

要么就在训练的时候除以概率……这样测试的时候少算一次乘法。

本身dropout采取的策略就是在训练时增加一些随机性，或者说增加一些难度，在测试时抵消掉这一部分增加的难度，从而实现算法的鲁棒性。很多防止过拟合的方法都是采取这个策略。