PyTorch踩坑指南（1）nn.BatchNorm2d()函数

前言

最近在研究深度学习中图像数据处理的细节，基于的平台是PyTorch。心血来潮，总结一下，好记性不如烂笔头。

Batch Normalization

对于2015年出现的Batch Normalization¹，2018年的文章Group Normalization²在Abstract中总结得言简意赅，我直接copy过来。

Batch Normalization (BN) is a milestone technique in the development of deep learning, enabling various networks to train. However, normalizing along the batch dimension introduces problems — BN’s error increases rapidly when the batch size becomes smaller, caused by inaccurate batch statistics estimation. This limits BN’s usage for training larger models and transferring features to computer vision tasks including detection, segmentation, and video, which require small batches constrained by memory consumption.

机器学习中，进行模型训练之前，需对数据做归一化处理，使其分布一致。在深度神经网络训练过程中，通常一次训练是一个batch，而非全体数据。每个batch具有不同的分布产生了internal covarivate shift问题——在训练过程中，数据分布会发生变化，对下一层网络的学习带来困难。Batch Normalization强行将数据拉回到均值为0，方差为1的正太分布上，一方面使得数据分布一致，另一方面避免梯度消失。

结合图1，说明Batch Normalization的原理。假设在网络中间经过某些卷积操作之后的输出的feature maps的尺寸为N×C×W×H，5为batch size（N），3为channel（C），W×H为feature map的宽高，则Batch Normalization的计算过程如下。

图 1

• 1.每个batch计算同一通道的均值$\mu$，如图取channel 0，即$c=0$（红色表示）
  $$\mu =\frac{\sum _{n=0}^{N-1}\sum _{w=0}^{W-1}\sum _{h=0}^{H-1}X[n,c,w,h]}{N\times W\times H}$$
• 2.每个batch计算同一通道的方差${\sigma }^2$
  σ 2 = ∑ n = 0 N − 1 ∑ w = 0 W − 1 ∑ h = 0 H − 1 ( X [ n , c ,