DropOut本身随机将网络的一部分激活函数置零。一般在全连接层使用。少部分情况也会在卷积层使用。.
dropout本身避免了特征或者参数之间的互相适应,在某种程度上可以抑制过拟合。或者在某种意义上来说,是在一个模型中实现集成学习。同时集成的数目十分巨大。
dropout本身会彻底改变神经网络的运算方式,在测试时,用DropOut的概率乘以输出值。
要么就在训练的时候除以概率……这样测试的时候少算一次乘法。
本身dropout采取的策略就是在训练时增加一些随机性,或者说增加一些难度,在测试时抵消掉这一部分增加的难度,从而实现算法的鲁棒性。很多防止过拟合的方法都是采取这个策略。