《动手学深度学习》(PyTorch版)要点笔记 - 5 【3.13 丢弃法】

丢弃法

除了的权重衰减以外，深度学习模型常常使用丢弃法（dropout）来应对过拟合问题。
当对该隐藏层使用丢弃法时，该层的隐藏单元将有一定概率被丢弃掉。设丢弃概率p，那么有p的概率hi会被清零，有1−p的概率hi会除以1−p做拉伸。丢弃概率是丢弃法的超参数。具体来说，设随机变量ξi为0和1的概率分别为p和1−p。使用丢弃法时我们计算新的隐藏单元h′i

由于E(ξi)=1−pE

即丢弃法不改变其输入的期望值。让我们对图3.3中的隐藏层使用丢弃法，一种可能的结果如图3.5所示，其中h2和h5​被清零。

图3.3

图3.5

测试模型时，我们为了拿到更加确定性的结果，一般不使用丢弃法。