qq_18147197的博客

原创 Dropout之后，为什么测试时需要乘以补偿系数

 假如dropout为0.5，那么如下的一个神经元的输出结构如图，需要在测试时乘以0.5，因为如果我们不这么做的话会得到一个相对于训练环节的输出期望值来说大很多的值（因为训练环节是随机0.5舍弃了神经元 参考图片），分布也会变，所以通过乘以0.5来补偿这个巨大的偏差。当然我们也可以在训练时乘以2倍，这样就不需要在测试时来乘以0.5来使得两个环节匹配。...