dropout原理解析

为何要做缩放

训练深度神经网络的时候，总是会遇到两大缺点：

(1) 容易过拟合

(2) 费时

Dropout可以比较有效的缓解过拟合的发生，在一定程度上达到正则化的效果

假设丢弃概率是P，有两种实现方式，不管实在测试阶段还是训练阶段对每层的输出做缩放，都是为了保持伯努利分布的期望np。测试阶段没法dropout是全量神经元参与运算，不然预测结果具有随机性。为了保持每层输出和训练时一样的期望，所以需要缩放。

形象化理解

10个人拉一个10吨车，第一次（训练时），只有5个人出力（有p=0.5的人被dropout了），那么这5个人每个人出力拉2吨。第二次（预测时），10个人都被要求出力，这次每个人出的力就是2*（1-0.5）=1吨了。

vanilla 版本（在测试时做rescale）：
训练时，对于网络中的某个输出值x，期望变为 （1-p）x + p0 = （1-p）x
为了保持infer（没有dropout）期望一致，在infer时，对于相应层输出乘以1-p

inverted 版本（在训练时做rescale）：
训练时，对于网络中的某个输出值x，期望变为 （1-p）x + p0 = （1-p）x
为了保持infer（没有dropout）期望一致，在训练时， 对包含dropout的输出乘1/(1-p), 使得期望仍然为1/(1-p) * （1-p）x = x

 

 

 代码实现

参考文献

深度学习中Dropout原理解析作者在面试机器学习、深度学习实习生岗位时，Dropout被问的很细致，也被问的很惨！所以，本文全面总结了Dropout的原理知识！https://mp.weixin.qq.com/s/3nKXlu3jy-0sNgAHxaxGmQ神经网络Dropout层中为什么dropout后还需要进行rescale？ - 知乎感谢 @南方的仔 在评论中的灵魂提问，既然 rescale 是为了“保持期望不变”，那么为什么要“保持期望不变…https://www.zhihu.com/question/61751133