理论基础
为了缩小训练和测试性能之间的差距,应该以简单的模型为目标。一种简单性以较小维度的形式展现,通过减小数据特征的维度达到防止过拟合的目的,此外上节中的权重衰减是将参数的范数作为一种有用的简单性度量。
简单性的另一个角度是平滑性,即函数不应该对其输入的微小变化敏感,例如,当我们对图像进行分类时,我们预计向像素中添加一些随机噪声应该是基本无影响的,1995年,克里斯托弗·毕晓普证明了具有输入噪声的训练等价于Tikhonov正则化,这项工作用数学证实了“要求函数光滑”和“要求函数对输入的随机噪声具有适应性”之间的联系。
然后在2014年,斯里瓦斯塔瓦等人 (Srivastava et al., 2014) 就如何将毕晓普的想法应用于网络的内部层提出了一个想法:在训练过程中,他们建议在计算后续层之前向网络的每一层注入噪声。因为当训练一个有多层的深层网络时,注入噪声只会在输入‐输出映射上增强平滑性。
这个想法被称为暂退法(dropout)。暂退法在前向传播过程中,计算每一内部层的同时注入噪声,这已经成为训练神经网络的常用技术。这种方法之所以被称为暂退法,因为我们从表面上看是在训练过程中丢弃(drop out)一些神经元。在整个训练过程的每一次迭代中,标准暂退法包括在计算下一层之前将当前层中的一些节点置零。
那么关键的挑战就是如何注入这种噪声。一种想法是以一种无偏向(unbiased的方式注入噪声。这样在固定住其他层时,每一层的期望值等于没有噪音时的值。在毕晓普的工作中,他将高斯噪声添加到线性模型的输入中。在每次训练迭代中,他将从均值为零的分布ε ∼ N (0, σ2) 采样噪声添加到输入x,从而产生扰动点x′ = x + ε,预期是E[x′] = x。
在标准暂退法正则化中,通过按保留(未丢弃)的节点的分数进行规范化来消除每一层的偏差。换言之,每个中间活性值h以暂退概率p由随机变量h′替换,如下所示:
根据此模型的设计,其期望值保持不变,即E[h′] = h。
代码实践
dropout_layer函数根据给定的drop_out参数生成与X同尺寸的掩码,与X相乘将drop_out比例的权重置0。
函数测试
实验结果
暂退法简洁实现