BN LN IN GN归一化操作的差异性

论文基础：

1.简述

1.1 论文链接

(1)、Batch Normalization 2015

https://arxiv.org/pdf/1502.03167.pdf

(2)、Layer Normalizaiton 2016

https://arxiv.org/pdf/1607.06450v1.pdf

(3)、Instance Normalization 2017

https://arxiv.org/pdf/1607.08022.pdf

https://github.com/DmitryUlyanov/texture_nets

(4)、Group Normalization 2018

https://arxiv.org/pdf/1803.08494.pdf

(5)、Switchable Normalization 2018

https://arxiv.org/pdf/1806.10779.pdf

https://github.com/switchablenorms/Switchable-Normalization

 

将输入的图像shape记为[N, C, H, W]，这几个方法主要的区别就是在:

batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好；

layerNorm在通道方向上，对CHW归一化，主要对RNN作用明显；

instanceNorm在图像像素上，对HW做归一化，用在风格化迁移；

GroupNorm将channel分组，然后再做归一化；

SwitchableNorm是将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。

 

image.png

详细解说

2.1 Batch Normalization