Caffe下卷积神经网络(CNN)中的一些特殊层
作者:xg123321123
出处:http://blog.csdn.net/xg123321123/article/details/52610919
声明:版权所有,转载请联系作者并注明出处
Batch Normalization
- 意义: 网络训练时,用来加速收敛速度
- 提醒:
- 已经将BN集成为一个layer了,使用时需要和scale层一起使用
- 训练的时候,将BN层的use_global_stats设置为false; 测试的时候将use_global_stats设置为true,不然训练的时候会报“NAN”或者模型不收敛 – 师兄的经验,我还没试验过
- 用法: 详见 残差神经网络的使用
Dropout
- 意义: 防止模型过拟合;训练模型时,随机让网络某些隐含层节点的权重不工作(不工作的那些节点可以暂时认为不是网络结构的一部分,但是它的权重得保留下来,只是暂时不更新而已,因为下次样本输入时它可能又得工作了)
- 用法