【pytorch】bn

bn接口定义：

torch.nn.BatchNorm2d：
def init(self,
num_features,
eps=1e-5,
momentum=0.1,
affine=True,
track_running_stats=True)

args：

• momentum：
  • 默认为 0.1 。
  • 要freeze的时候就设置为0.0（和 tf 里面是反着来的，tf是设置为1.0才能freeze）。
• rack_running_stats：
  • 计算running_mean和running_var（即moving_mean和moving_var）。
  • 默认为True。
  • 当设置为True时：
    • train 的时候用当前batch的mean和var，并更新running_mean和running_var。
    • eval 的时候用存储的running_mean和running_var，不会更新running_mean和running_var。
  • 当设置为False时：
    • train 的时候用当前batch的mean和var，不会更新running_mean和running_var。
    • eval 的时候用当前batch的mean和var，不会更新running_mean和running_var。
    • 此时所有的 xx.xx.bn.running_mean、xx.xx.bn.running_var 和 xx.xx.bn.num_batches_tracked 都会被从 model.state_dict() 里面移除。（这三类缺失值可以从其他state_dict导入来补充）
  • 具体参见《Pytorch的BatchNorm层使用中容易出现的问题》。
• affine：
  • 是否要“乘上缩放矩阵，加上平移向量”（也就是仿射矩阵）的开关。
  • 默认为True。

Note：

• 即使对bn设置了 requires_grad = False ，一旦 model.train() ，bn还是会偷偷开启update（ model.eval()模式下就又停止update ）。