BN和LN的区别

BN

针对一个batch_size中同一维度的样本在做处理。比如上图，有x1,x2,…,xR个样本，这些样本的第一个维度描述的是体重，第二个维度描述的身高，BN在所有样本的的每一个特征（比如体重维度、身高维度）上进行归一化，
BN的优点：第一个优点可以解决内部协变量偏移，第二个优点就是缓解了梯度饱和问题（如果使用sigmoid函数的话），加快收敛。
BN的缺点：第一个缺点batch_size较小的时候，效果很差，因为BN就是用batch_size中样本的均值和方差去模拟全部样本的均值和方差，这个假设在样本很少的情况下确实是不合理的。第二个缺点就是BN在RNN中效果比较差。因为RNN的输入是动态的，就会出现如下图的情况：

比如一个batch_size中的样本前9个都是5个单词，最后一个样本20个单词，那么前五个单词的均值和方差都可以通过这10个样本模拟出来，而从第6个到第20个单词的均值和方差就只能利用最后一个样本计算，这就回到了第一个缺点上。

LN

理解:对同一个样本的所有单词进行缩放。

看下面这张图，比如有下面两个样本，BN做的就是用“台”和“今”、“词”和“天”、“深”和“天”…做均值方差，而LN则是对“今天天气真好”这句话做均值和方差