Transformer模型-Normalization归一化的简明介绍：将特征转换为可比较尺度的过程，一般是[0,1] or [-1,1]之间

 背景

一般而言，Normalization归一化是将特征转换为可比较尺度的过程。有许多方法可以对特征进行归一化

例如：最小-最大特征缩放

最小-最大特征缩放将值转换到[0,1]的范围内。这也被称为基于单位的归一化。可以使用以下方程进行计算：

该方程的顶部将每个值减去X_min；当X等于X_min时，分子变为0。当分子被分母除时，输出为0。

同样，当分子为X_max — X_min时，新的最大值出现。当这个值被X_max — X_min除时，它变为1。这就是范围如何被调整到0和1之间的。

例如：标准分数

在标准化过程中，每个值都被转换为它的标准分数，[-1,1]的范围内。标准分数也被称为z分数。这是通过从每个值中减去均值，然后除以标准差来实现的。

μ 代表数据的均值或平均数。

σ 代表数据的标准差，

即各数值与均值之间的平均离散程度。如果一个数据集的标准差较低，那么数值可能更接近均值。如果标准差较高，则可能意味着数值分布在一个较大的范围内。可以用以下公式来计算标准差。

σ 2为方差

为什么要进行归一化normalization？

在机器学习中，对特征进行归一化是因为具有不同尺度的特征的模型需要更长的训练时间；这是因为梯度下降需要更多时间来收敛。

根据Pinecone的说法，不进行归一化可能导致大的误差梯度最终爆炸，从而使模型不稳定。

因此，在许多情况下，在将数据插入模型之前应该进行归一化。

为什么要进行 层的归一化 layer normalization？

根据Pinecone的说法，层归一化确保“对于给定的输入，特定层中的所有神经元在所有特征上都具有相同的分布。”

归一化是在最后的D个维度上进行的；D是将要进行归一化的维度数。例如，如果目标是归一化一个具有10个元素的一维向量，那么D就是1。如果目标是归一化一个形状为(2,3)的矩阵，那么D就是2。同样地，如果目标是归一化一个形状为(2,5,3)的张量，那么D就是3。

训练最先进的深度神经网络在计算上非常昂贵。减少训练时间的一种方法是对神经元的活动进行归一化。最近引入的一种技术，称为批量归一化batch normalization ，它使用神经元在小型训练案例批次上的输入总和的分布来计算均值和方差，然后使用这些均值和方差来归一化每个训练案例上该神经元的输入总和。这显著减少了前馈神经网络中的训练时间。然而，批量归一化的效果取决于小型批次的大小，并且如何将其应用于循环神经网络并不明显。在本文中，我们通过从单个训练案例的某一层中所有神经元的输入总和来计算用于归一化的均值和方差，从而将批量归一化转换为层归一化。与批量归一化一样，我们还为每个神经元提供了自己的自适应偏置和增益，这些偏置和增益在归一化之后但在非线性之前应用。与批量归一化不同，层归一化layer normalization在训练和测试时执行完全相同的计算。通过在每个时间步上单独计算归一化统计量，也可以轻松地将层归一化应用于循环神经网络。层归一化在稳定循环网络中的隐藏状态动力学方面非常有效。从经验上看，我们表明与先前发表的技术相比，层归一化可以大大减少训练时间。

https://arxiv.org/abs/1607.06450

层的归一化方程layer normalization Equation

对于每个输入x，层的归一化可以使用经过修改的z分数方程来计算：

μ 代表最后D个维度的均值
σ² 代表最后D个维度的方差
ε 是一个极小的值，当σ²较小时有助于计算
γ 和 β 是可学习的参数。

根据Pinecone的说法，使用γ和β是因为“将所有预激活值强制设为零和单位标准差……可能过于严格。某些情况下，波动的分布可能是网络更好地学习某些类别的必要条件。”

它们与要归一化的给定张量具有相同的形状。
γ 初始化为全1，β 初始化为全0。

LayerNorm — PyTorch 2.2 documentationhttps://pytorch.org/docs/stable/generated/torch.nn.LayerNorm.html

Transformers中的层归一化

transformer模型中使用了层的归一化。
 

 原文链接：

https://medium.com/@hunter-j-phillips/layer-normalization-e9ae93eb3c9c