显然看不懂英文然后出于各种原因最终被迫搜索了翻译版本,如有错误欢迎指出
介绍主体:
DropOut
目的:
对战过拟合的基础上提升速度和学习能力(力速双A✔)
思路:
通过在每个训练案例上随机省略一般的特征检测器而减小过拟合率。每一个神经元去学习如何检测特征更有助于得出正确答案。
具体实现:
- 每个训练案例的每个呈现上,每个隐藏单元被随机地从网络中以0.5的概率省略。
- 在测试过程中,每一个隐藏层的神经元都能保持激活,但是,必须将输出值乘以0.5,这是因为在测试的过程中,相比于训练过程,增加了一倍的神经元数目,因此,需要将神经元的输出乘以0.5作为补偿。
神奇的地方:
让一个非常大的,且在学习过程中会衰减的学习率作为训练的开始成为可能
短小的原因当然是因为一时看不明白。。