Batchnorm和Layernorm的区别

  在深度学习训练中，我们经常会遇到这两个归一化操作，他们之间有什么区别呢？我们来简单介绍一下：

一.BatchNorm：

  在深度学习训练的时候我们的数据如果没有经过预处理，有可能会出现梯度消失或者梯度爆炸的情况，那么应该怎么解决这个问题呢？所以我们经常会在训练之前和训练的时候使用标准处理，在CV中最常用的就是BN。我们先来看张动图：

  从上面的动图中可以看出，BN是针对batch而言的，针对每一个batch的同一通道计算均值和方差进行归一化，因此batch越大，归一化的结果越好。
  需要注意的是BN中实际上是四个参数，除了公式中的$\alpha$和$\beta$ 之外，还有两个“隐含”的参数，统计均值和方差，我们知道在计算BN的时候是针对一个batch的，而batch的选择和整体的样本均值和方差是有差距的，因此，在计算的时候要不断地更新统计到的均值和方差，作为最终的统计均值和方差。

二.LayerNorm：

  简单介绍layernorm，就是batchborm是针对一个batch的每个通道之间进行计算均值和方差，而layernorm是针对一个特征矩阵之间按照通道进行计算均值和方差，他只有两个参数，公式和BN是一样的。所以在CV中基本上不用这个归一化，没有什么意义。
  除此之外，还有其他的归一化方法，如：GN，IN等，用到的时候可以自己查阅一下资料，下面贴张图：

  以上只是对batchnorm和layernorm做一个简单的介绍，并没有深入剖析，如有错误，敬请指正。