论文笔记-Improving neural networks by preventing co-adaptation of feature detectors

    Improving neural networks by preventing co-adaptation of feature detectors 是Hinton在2012年6月份发表的，从这篇文章开始提出dropout的相关理论。该文章中没有详细的理论说明，只是通过实验说明了dropout在大数据量的情况下是有效的。以下记录论文的重要部分

1、为了防止overfitting，使用dropout的方式，在数据量较大的情况下比较有效果。

2、hidden unit采用0.5的比例，随机被忽略。

3、传统RBM的方式使用了权衰减策略，主要目的是防止过度拟合，一般的做法是正常的梯度项后增加一项，作为惩罚项。惩罚函数采用L2 范数

延伸知识：

1、DBM 深度玻尔兹曼机

2、stochastic gradient descent 随机梯度下降