caffe中BatchNorm层和Scale层实现批量归一化(batch-normalization)注意事项

本文介绍了在Caffe中如何使用BatchNorm和Scale层实现批量归一化,强调了Scale层设置bias_term为true以实现平移功能,以及BatchNorm层use_global_stats参数在训练和测试阶段的用法。训练过程为(conv-batchnorm-scale-relu),测试过程(conv-batchnorm-scale-relu)可自动切换use_global_stats。在源码中,当use_global_stats未设定时,训练时默认为false,测试时默认为true。BatchNorm层的学习率通常设为0,具体原因有待进一步验证。
摘要由CSDN通过智能技术生成

caffe中实现批量归一化(batch-normalization)需要借助两个层:BatchNorm 和 Scale
BatchNorm实现的是归一化
Scale实现的是平移和缩放
在实现的时候要注意的是由于Scale需要实现平移功能,所以要把bias_term项设为true
另外,实现BatchNorm的时候需要注意一下参数use_global_stats,在训练的时候设为false,在测试的时候设为true
use_global_stats = false 时采用滑动平均计算新的均值和方差
use_global_stats = true 时会强制使用模型中存储的BatchNorm层均值与方差参数
具体训练实现过程为(conv-batchnorm-scale-relu):

layer {
  bottom: "data"
  top: "conv1_1"
  name: "conv1_1"
  type: "Convolution"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
    num_output: 64
    pad: 1
    kernel_size: 3
  }
}
layer {
  bottom: "conv1_1"
  top: "conv1_1"
  name: "bn_conv1_1"
  type: "BatchNorm"
  param {
    lr_mult: 0
    decay_m
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值