改善过拟合——丢弃法【dropout】

除了权重衰减以外，深度学习模型常常使用丢弃法（dropout) 来应对过拟合问题。
丢弃法有一些不同的变体。下面介绍的丢弃法特指倒置丢弃法（inverted dropout）。

方法描述

对于隐含层的单元来说，以一定的概率被丢弃。
对于某个隐藏单元h来说，以概率p将该单元的输出值置零。丢弃概率是丢弃法的超参数。
同时为了保证本层输出的期望不变，对未被置零的单元做（1-p）的伸缩。
具体来说，设随机变量 ? 为0和1的概率分别为 ? 和 1−? 。使用丢弃法时我们计算新的隐藏单元 h’
h ′ = ξ 1 − p h h'=\frac{\xi }{1-p}h