dropout学习整理

1. dropout在训练过程中每次迭代都会得到一个新模型，最终结果是多个模型的融合，得到的只有一个模型，一组参数。

2. 加入dropout后模型训练过程，都要计算概率，确定哪些神经元被丢弃，被丢弃的神经元输出变为0 。训练过程，神经元被丢弃的概率为（1-P），被保留下来的可能性为P； 

3. 测试过程，神经元一直都在，在测试阶段必须仿真出在训练阶段使用的网络集的行为，所以每个参数都要乘以P。 （注意这个P是神经元保留下来的概率）

（1）Network Size： 
采用dropout后，隐含层节点数n要按照n/p增加；

（2）Learning Rate and Momentum： 
dropout的引入产生了很多噪声，为了降低噪声的影响，可以通过以下两种方式：Learning Rate的取值是普通网络的10-100倍；momentum：momentum对于标准网络一般采用0.9，对于dropout网络momentum一般是0.95-0.99。两种可以同时使用。

（3）Max-norm Regularization： 
大的Learning Rate and Momentum会造成网络参数太大，一般给隐含层权重的norm一个上限c，c一般取值3-4。 
（4）Dropout Rate 
一般取值0.5~0.8。经过交叉验证，隐含节点dropout率等于0.5的时候效果最好，原因是0.5的时候dropout随机生成的网络结构最多。