代码逻辑
# 设置use_global_stats: 如果TEST模式设置use_global_stats=TRUE,但是紧接着检查是否在prototxt中设置了use_global_stats参数,如果设置了就以设置的参数为准。 总之 use_global_stats要么true要么false
# 获取当前mean var
# 如果是use_global_stats=true: 使用存储的restore_moving_mean、restore_moving_var作为mean var的值
# 如果是use_global_stats=false: 直接计算当前batch的 mean var。 并使用当前mean、var和restore_moving_mean、restore_moving_var计算指数加权平均, 作为restore_moving_mean、restore_moving_var的新值(snapshot时会保存这些值到参数文件)。
# 使用前一步得到的mean,var进行normalize 并输出结果到下一层
scale层包含参数:
gamma(即scale) beta(即bias)