caffe常用层：batchNorm使用

Caffe 的 BN（BatchNorm ) 层共有三个参数参数：均值、方差和滑动系数，BN层结构如下：

layer {

[plain]  view plain  copy

1.     bottom: "res2a_branch2b"  
2.     top: "res2a_branch2b"  
3.     name: "bn2a_branch2b"  
4.     type: "BatchNorm"  
5.     batch_norm_param {  
6.         use_global_stats: false       //训练阶段和测试阶段不同，  
7.     }  
8.  include: { phase: TRAIN }  
9.   
10. }  
11. layer {  
12.     bottom: "res2a_branch2b"  
13.     top: "res2a_branch2b"  
14.     name: "bn2a_branch2b"  
15.     type: "BatchNorm"  
16.     batch_norm_param {  
17.         use_global_stats: true  
18.     }  
19.  include: { phase: TEST }  
20.   
21. }  

• use_global_stats：如果为真，则使用保存的均值和方差，否则采用滑动平均计算新的均值和方差。该参数缺省的时候，如果是测试阶段则等价为真，如果是训练阶段则等价为假。

• moving_average_fraction：滑动平均的衰减系数，默认为0.999

• eps：分母附加值，防止除以方差时出现除0操作，默认为1e-5（不同框架采用的默认值不一样），

在Caffe中使用Batch Normalization需要注意以下两点：

1. 要配合Scale层一起使用，具体参见http://blog.csdn.net/sunbaigui/article/details/50807398以及Residual Network

2. 训练的时候，将BN层的use_global_stats设置为false，然后测试的时候将use_global_stats设置为true，不然训练的时候会报“NAN”或者模型不收敛。

可选参数定义在 src\caffe\proto\caffe.proto 中，共有3个：

message BatchNormParameter {
  // 如果为真，则使用保存的均值和方差，否则采用滑动平均计算新的均值和方差。
  // 该参数缺省的时候，如果是测试阶段则等价为真，如果是训练阶段则等价为假。
  optional bool use_global_stats = 1;

  // 滑动平均的衰减系数，默认为0.999
  optional float moving_average_fraction = 2 [default = .999];

  // 分母附加值，防止除以方差时出现除0操作，默认为1e-5
  optional float eps = 3 [default = 1e-5];
}

BatchNorm的具体含义：

转载博客：

http://blog.csdn.net/shuzfan/article/details/52729424