Dropout 是一种防止神经网络过拟合的有效方法，由 Hinton 在2014年提出。通过在训练过程中随机丢弃部分神经元，它能创建一个模型集合，增强泛化能力。在 Keras 中，dropout 层可用于输入层和隐藏层之间，以调整模型复杂度。在实际案例中，虽然不是所有情况都适用dropout，但在某些网络结构中它可以提高性能。
为了应对神经网络很容易过拟合的问题，2014年 Hinton 提出了一个神器，
Dropout: A Simple Way to Prevent Neural Networks from Overfitting
(original paper: http://jmlr.org/papers/v15/srivastava14a.html)
实验结果：
dropout 是指在深度学习网络的训练过程中，按照一定的概率将一部分神经网络单元暂时从网络中丢弃，相当于从原始的网络中找到一个更瘦的网络
在大规模的神经网络中有这样两个缺点：1. 费时；2. 容易过拟合
对于一个有 N 个节点的神经网络，有了 dropou t后，就可以看做是 2^N 个模型的集合了，但此时要训练的参数数目却是不变的，这就缓解了费时的问题。
论文中做了这样的类比，无性繁殖可以保留大段的优秀基因，而有性繁殖则将基因随机拆了又拆，破坏了大段基因的联合适应性，但是自然选择中选择了有
最低0.47元/天 解锁文章
扫一扫
2566
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
