Transformer代码详解与项目实战之Layer Normalization

在Transformer模型中，使用到了Layer Normalization思想，来源于论文#论文来源#
为了方便介绍其原理，此处对Batch Normalization 和 Layer Normalization进行对比。

两个算法都使用均值和标准方差对数据进行标准化处理！对矩阵中每一个元素减去均值，然后除以标准差。 差别在于：均值和标准差的计算方法不同！

Batch Normalization：计算一个Batch的各个位置的均值和标准差。
Layer Normalization：计算每一条记录的均值和标准差。
注：此项目调用了工程包中的函数：tf.keras.layers.LayerNormalization(epsilon=1e-6)来完成Layer Normalization功能。