LayerNorm的作用和原理

最新推荐文章于 2024-08-05 23:06:45 发布

YH美洲大蠊

最新推荐文章于 2024-08-05 23:06:45 发布

阅读量1.8k

点赞数 2

文章标签： transformer 机器学习

本文链接：https://blog.csdn.net/YHKKun/article/details/137152145

版权

LayerNorm是一种关键的深度学习技术，通过对每层输入进行标准化，解决内部协变量偏移问题，提高训练效率，加速收敛并增强模型泛化能力。它采用逐通道归一化，适用于小批量或单样本场景，降低了模型复杂性。

摘要由CSDN通过智能技术生成

归一化处理：

LayerNorm的核心思想是对每一层的输入进行标准化，即使其均值为0，方差为1。对于每一隐藏层的输入x，LayerNorm通过以下公式进行归一化：

$\text{LayerNorm}(x) = \gamma \cdot \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta$

其中， $\mu$ 和 $\sigma$ 分别是输入x的均值和标准差， $\gamma$ 和 $\beta$ 是可学习的参数，用于缩放和平移归一化后的结果，以确保网络的表达能力不会因归一化而受限。 $\epsilon$ 是一个小的常数，用于防止分母为零导致的数值不稳定。
缓解内部协变量偏移：

在深度神经网络中，随着网络层数的加深，每一层的参数更新都可能导致后续层的输入分布发生变化，这种现象被称为内部协变量偏移（Internal Covariate Shift, ICS）。ICS会导致网络训练困难，因为每一层都需要不断适应新的输入分布。LayerNorm通过归一化每一层的输入，减少了层与层之间的输入分布变化，从而有效缓解了ICS问题。
提高训练速度和模型性能：

由于LayerNorm减少了ICS，它使得网络的每一层都能够更加稳定地接收和处理输入。这有助于加快网络的收敛速度，因为每一层都能够更有效地利用梯度信息进行参数更新。此外，LayerNorm还有助于提高模型的泛化能力，因为模型对不同输入分布的适应性增强了。
逐通道归一化：

LayerNorm是在特征维度（即通道维度）上进行归一化的，而不是在数据批次维度上。这意味着LayerNorm对每个样本的每个特征进行独立的归一化处理，与批次中的其他样本无关。这种逐通道的归一化方式使得LayerNorm特别适用于小批量或单样本的情况，同时也减少了模型的复杂性和计算量。