Batch Normalization在CNN中的具体实现（图解），以及对应的其他Normalization类型

注：H,W指的是二维图像的展平，即对于H和W均为224的图片来说，“H, W”指的是224×224个数值。

Batch Normalization

在每个通道（C）上对当前mini batch中全部样本（N）上的全部像素（H,W）进行标准化。即对N×H×W个像素进行标准化。

Tips：BN在训练时计算每个mini batch中的均值和方差，在测试时会调用训练时的均值和方差，当训练和测试的分布存在较大差异时，容易产生问题。

Layer Normalization

对当前mini batch中的每个样本（N）的全部通道（C）中的全部像素（H,W）进行标准化。即对C×H×W个像素进行标准化。

Instance Normalization

对当前mini batch中的属于每个样本（N）的每个通道（C）中的全部像素（H,W）进行标准化。即对H×W个像素进行标准化。