Improving neural networks by preventing co-adaptation of feature detectors 是Hinton在2012年6月份发表的,从这篇文章开始提出dropout的相关理论。该文章中没有详细的理论说明,只是通过实验说明了dropout在大数据量的情况下是有效的。以下记录论文的重要部分
1、为了防止overfitting,使用dropout的方式,在数据量较大的情况下比较有效果。
2、hidden unit采用0.5的比例,随机被忽略。
3、传统RBM的方式使用了权衰减策略,主要目的是防止过度拟合,一般的做法是正常的梯度项后增加一项,作为惩罚项。惩罚函数采用L2 范数
延伸知识:
1、DBM 深度玻尔兹曼机
2、stochastic gradient descent 随机梯度下降