LN.BN.GN.IN

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、归一化

数学上的定义：
归一化是一种无量纲处理手段，使物理系统数值的绝对值变成某种相对值关系。简化计算，缩小量值的有效办法。
数据预处理
不同的评价指标往往具有不同的量纲（例如：对于评价房价来说量纲指：面积、房价数、楼层等；对于预测某个人患病率来说量纲指：身高、体重等。）和量纲单位（例如：面积单位：平方米、平方厘米等；身高：米、厘米等），这样的情况会影响到数据分析的结果，为了消除指标之间量纲的影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。

---

二、归一化优缺点及公式

优缺点

（1）归一化后加快了梯度下降求最优解的速度。

（2）归一化有可能提高精度（归一化是让不同维度之间的特征在数值上有一定的比较性）。

计算流程

1.计算出均值

2.计算出方差

3.归一化处理到均值为0，方差为1

4.变化重构，恢复出这一层网络所要学到的分布

---

三、LN.BN.GN.IN

为了能用图形直接展示出来，H,W通常又是一起使用，故将HW化为同一个轴，上图表现出了四种归一化的意义。

Layer Normalizaiton（层归一化）：

1.LN的计算就是将每张图片单独进行归一化，此时无论batch size的影响

2.常用在RNN网络，但如果输入的特征区别很大，那么就不建议使用它做归一化处理

3.此时针对每一张图片，我们都有一组γ,β，所以可学习的参数为2*N

Batch Normalization（批归一化）：

使用较多的一种归一化，通常用于图像处理中。

1.BN的计算就是把每个通道的N，H，W数据都拿出来进行单独的归一化

2.针对每个channel我们都有一组γ,β，所以可学习的参数为2*C

3.当batch size越小，BN的表现效果也越不好，因为计算过程中所得到的均值和方差越不能代表全局，就越是容易学习到极少数的噪声，导致整个模型容易受到噪声的影响

Instance Normalization（实例正则化）：

1.IN的计算就是将每张图片的每个通道里的数据单独归一化，这样每个通道与每个照片之间就没有任何的联系，互不影响

2.针对于每张图片的单通道都有一组γ,β，所以可学习的参数为2CN

3.常用在风格化迁移，但如果特征图可以用到通道之间的相关性，那么就不建议使用它做归一化处理，自然语言处理一般也不建议使用

Group Normalizatio（组归一化）：

1.GN的计算就是把先把通道C分成G组，然后把每个gHW单独拿出来归一化处理，最后把G组归一化之后的数据合并成CHW

2.针对于每组通道的单通道都有一组γ,β，所以可学习的参数为2GN

3.GN介于LN和IN之间，当然可以说LN和IN就是GN的特列，比如G的大小为1或者为C