参考:
深度学习中Dropout原理解析 https://blog.csdn.net/program_developer/article/details/80737724
目录
(2)F.Dropout(x, p=0.5, training=self.training)
(3) Dropout 在 Keras 和 Pytorch 中的实现
1 为什么要用 Dropout?
在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。
在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:
模型在训练数据上损失函数较小,预测准确率较高;
但是在测试数据上损失函数比较大,预测准确率较低。
为了解决过拟合问题,一般会采用模型集成的方法,即训练多个模型进行组合。此时,训练模型费时就成为一个很大的问题,不仅训练多个模型费时,测试多个模型也是很费时。
综上所述,训练深度神经网络的时候,总是会遇到两大缺点:
(1)容易过拟合
(2)费时
Dropout 可以针对这两个问题,比较有效的缓解过拟合的发生,在一定程度上达到正则化的效果。
2 什么是 Dropout?
当一个复杂的前馈神经网络被训练在小的数据集时,容易造成过拟合。Dropout 可以通过阻止特征检测器的共同作用,缓解过拟合,来提高神经网络的性能。
过程:在前向传播的时候,让某个神经元的激活值以一定的概率p停止工作,这样可以使模型泛化性更强,因为它不会太依赖某些局部的特征,如下图:
步骤:
(1)训练阶段:
- . 没有Dropout的网络计算公式: