torch笔记十七 | 丢弃法（Dropout）

1. 动机

缓解过拟合的四种方法：

• 增加训练的数据
• 减小网络模型的容量
• 在损失函数上加入正则项（权重衰减）
• Dropout丢弃法

一个好的模型需要对输入数据的扰动鲁棒：

• 使用有随机噪音的数据，等价于一个正则。正则就是使得网络权重值不会太大，避免过拟合的一种方法。
• 丢弃法：在层之间加入噪音。丢弃法也可当作一种正则。

2. Dropout原理

丢弃法对每个元素进行如下扰动：
$$x_i^{{}^{\prime }}=\{\begin{array}{ll}0& p\\ \frac{x_i}{1-p}& otherize\end{array}$$
有 p 概率将数据变成零，1-p 概率将数据扩大。

另外，输入x，加入噪音后得到 $x^{{}^{\prime }}$，但是我们希望加入噪声后的数据和原数据的期望一样，即$E[x^{{}^{\prime }}]=x$。$E[x^{{}^{\prime }}]=x$ 保证了训练时使用dropout和测试时不使用 dropout 结果的一致性。对使用丢弃法后的数据计算期望：
$$E[x_i^{{}^{\prime }}]=0\times p+\frac{x_i}{1-p}\times (1-p)=x_i$$

可见满足我们期望的要求。

3. 训练和测试

dropout只在训练的时候使用，不在测试的时候使用。

训练的时候，通常丢弃法作用在隐藏全连接层的输出上，对于该层的输出进行dropout，相当于随机舍弃该层的神经元。在误差反向传播的时候，被舍弃的神经元相关的权重不会被更新。每一个batch进行一次新的dropout。

测试的时候，不使用dropout，dropout输出的是它本身，也保证了确定性的输出。因为正则项（包括L2正则化、dropout等方法）只在训练中使用，只对权重更新进行影响。

4. 小结

• Dropout将一些输出项随机置0来控制模型复杂度。
• 常用在多层感知机的隐藏层输出上，很少使用在CNN中，在CNN中常用权重衰减。
• 丢弃概率（P）是超参数。
• 可以尝试把隐藏层稍微设置大一点点，Dropout的P也设置的大一些，效果会比不使用dropout的小隐藏层要好一些。