出处:
《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》
原理:
- Dropout可以防止过拟合,某次训练时,随机让某些节点失活,输出为0且不更新权重,通常设置一个参数P,每个输出节点以概率P置0,所以大约每次使用了(1-P)比例的输出。
- 测试时,去掉Dropout层,将所有输出利用,但是需要对齐尺度,即缩小输出比例
R=R *(1-P)
作用:
Dropout达到了一种Vote的作用,减少神经元之间复杂的共适应性,可以比较有效地减轻过拟合的发生,一定程度上达到了正则化的效果。