instanceNorm在图像像素上,对HW做归一化,用在风格化迁移;也就是每个图片的每个channel做归一化,
instanceNorm是最小单位,是每个图片的每个channel的,如果包含部分channels,则就是GroupNorm;
instanceNorm是最小单位,是每个图片的每个channel的,如果包含所有channels,则就是layerNorm;
instanceNorm是最小单位,是每个图片的每个channel的,如果包含多幅图片,则就是batchNorm;
Batch Normalization
batchNorm是在batch上,对NHW做归一化,可能是多幅图片一起做。取决于batch大小。每次一个channel的。
layerNorm在通道方向上,对CHW归一化,主要对RNN作用明显;
每个layer做归一化。(一个layer相当于所有channels的集合)
GroupNorm将channel分组,然后再做归一化; GN将channel方向分group,然后每个group内做归一化
SwitchableNorm是将BN、LN、IN结合,赋予权重,让网络自己去学习归一化层应该使用什么方法。