BN和IN对比及其他Normalization

随心笔记

图中C代表通道，N一竖列代表一张图片
这个图是6个通道，也就是6个feature map
BN：6张图片的相同通道进行Normalization。
LN：一张图片6个通道进行Normalization。
IN：一张图片的一个通道进行Normalization。
GN：一张图片的几个通道进行Normalization。

BN适用于判别模型中，比如图片分类模型。因为BN注重对每个batch进行归一化，从而保证数据分布的一致性，而判别模型的结果正是取决于数据整体分布。但是BN对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布。
IN适用于生成模型中，比如图片风格迁移。因为图片生成的结果主要依赖于某个图像实例，所以对整个batch归一化不适合图像风格化中，在风格迁移中使用Instance Normalization不仅可以加速模型收敛，并且可以保持每个图像实例之间的独立。