随心笔记
图中C代表通道,N一竖列代表一张图片
这个图是6个通道,也就是6个feature map
BN:6张图片的相同通道进行Normalization。
LN:一张图片6个通道进行Normalization。
IN:一张图片的一个通道进行Normalization。
GN:一张图片的几个通道进行Normalization。
BN适用于判别模型中,比如图片分类模型。因为BN注重对每个batch进行归一化,从而保证数据分布的一致性,而判别模型的结果正是取决于数据整体分布。但是BN对batchsize的大小比较敏感,由于每次计算均值和方差是在一个batch上,所以如果batchsize太小,则计算的均值、方差不足以代表整个数据分布。
IN适用于生成模型中,比如图片风格迁移。因为图片生成的结果主要依赖于某个图像实例,所以对整个batch归一化不适合图像风格化中,在风格迁移中使用Instance Normalization不仅可以加速模型收敛,并且可以保持每个图像实例之间的独立。