transformer中layer normalization详解

2015年batch normalization提出 2016年的layer normalization

这是在论文中截的图，箭头指向的青色线代表加了layer normalization的模型，收敛速度最快。
layer normalization第二个优点，batch数据的多个样本可以是长度不同的，
input_data_shape=B * C * dim 虽然每个样本通道维度都是C， 但是如果有的样本没有C这么长，是经过padding技术增加成统一长度的呢？
具体来讲，多个句子作为一个batch，每个句子的长度是不一样的，但是会取一个句子长度最大值。
这个时候batch normalization就会带来问题。

transformer最初就是作为一个sequence to sequence模型被提出的，而一个sequence长度很可能是不确定的，layer normalization相对来说就是一个合适的归一化方法。

layer normalization作用是啥？
让中间层数据分布稳定，便于训练。