算法知识点-神经网络归一化方法

归一化：对神经网络参数的标准化，使其参数分布更为均衡统一。可以有效的环境梯度消失和梯度爆炸问题。
BatchNorm:在Batch上对NHW进行归一化，常用于图像上，原因在于图像特征提取认为通道信息对于图像特征具有重要意义，所以需要保留通道信息，对每个Batch归一化。对小BatchSize效果不好。
LayerNorm：在通道上对CHW进行归一化，常用于自然语言处理，认为文字本身含义与句子长短等信息无关，故在通道上归一化。对RNN作用明显。
InstanceNorm：在像素上进行归一化，常用于风格迁移。
GroupNorm：对通道进行分组，然后分组归一化。
SwitchNorm:将BN、LN、IN组合，赋予权重让网络自行学习。