ViT模型关联的Layer Normalization研读（一）初学者

        巨佬请关闭！原文：

https://arxiv.org/abs/1607.06450

        博主水平有限，本文目的是让大一大二有志于NLP领域学习的大学生们少走弯路，可当作学习笔记。今天在重新回顾ViT模型的基本结构的时候，发现很多知识盲区，这仅是其中一个。

        Layer Normalization利用神经元输入的总和分布在一个小批量的训练案例上来计算均值和方差，然后用这些均值和方差来规范化每个训练案例上该神经元的总和输入。

        批一归一化依赖于batch_size,RNN中（时间步骤不确定）不适用。

        层归一化单一样本进行层归一化，与batch Normalization相同都设置有adaptive bias 和gain增益参数, 且在训练和测试中执行相同运算。RNN中每个时间点都可以进行Layer Normalization

        作用：显著降低训练时间。

在前馈神经网络中，将输入x进行非线性映射 x->输出y。 第l层时,al 记作输入。