Pytorch 的 LayerNorm

原创

已于 2025-10-08 13:24:14 修改 · 280 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #人工智能 #python

于 2025-10-08 12:46:04 首次发布

一、介绍

在 PyTorch 中，LayerNorm 是一种常用的归一化方法，特别适用于序列模型（如 Transformer）或小批量训练的场景。它的核心思想是对每个样本的所有特征维度进行归一化，而不是像 BatchNorm 那样对整个 batch 的同一维度进行归一化

层归一化

🧠 二、计算公式

对每个样本的特征向量 $\in \mathbb{R}^d$ ，归一化过程如下：

$x^i=xi−μσ2+ϵ⋅γ+β\hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}} \cdot \gamma + \beta$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

吕文瑞-广西

关注关注

4
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

layernorm

数字人生

05-09

1119

LayerNorm最初由Ba等人于2016年提出，并被Vaswani等人在其著名的《Attention is All You Need》论文中引入到Transformer模型中。GPT-2采用了相同的架构，但将LayerNorm的位置移动到了现在被称为预归一化版本的位置，即在Transformer的每个块的第一层进行归一化，这有助于提高训练稳定性。

大模型面试-Layer normalization篇

weixin_51988935的博客

10-28

623

7.LN 在 LLMs 中的不同位置有什么区别么？如果有，能介绍一下区别么？可以缓解爆炸式模型更新的问题，把模型更新限制在常数，使得模型训练过程更稳定。3. RMS Norm 相比于 Layer Norm 有什么特点？中的不同位置有什么区别么？如果有，能介绍一下区别么？1. Layer Norm 的计算公式写一下？2. RMS Norm 的计算公式写一下？缺点：训练不稳定，可能会导致训练崩溃。，去除掉计算均值进行平移的部分。在深层的梯度范式逐渐增大，导致使用。在深层的梯度范式近似相等，所以使用。

参与评论您还未登录，请先登录后发表或查看评论

【深度学习】BatchNorm、LayerNorm

研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习

04-14

1万+

BatchNorm、LayerNorm的概念、作用、实现

nn.LayerNorm的实现及原理

芒果干的博客

02-03

7万+

LayerNorm 在transformer中一般采用LayerNorm，LayerNorm也是归一化的一种方法，与BatchNorm不同的是它是对每单个batch进行的归一化，而batchnorm是对所有batch一起进行归一化的 y=x−E(x)Var(x)+ϵ∗γ+β y = \frac{x-E(x)}{\sqrt{Var(x)+\epsilon}}*\gamma+\beta y=Var(x)+ϵx−E(x)∗γ+β nn.LayerNorm(normalized_shape, eps=1e-05

大模型——理论基础——常用的Norm

fan_fan_feng的专栏

02-01

9275

这样的顺序对于训练更深的网络可能更稳定，因为归一化的输入可以帮助缓解训练过程中的梯度消失和梯度爆炸问题。比于LN，可以发现，不论是分母的方差和分子部分，都取消了均值计算，经作者在各种场景中实验发现，减少约 7%∼64% 的计算时间。通过上面三组实验，作者认为 Post-LN 的不稳定性部分来自于梯度消失以及初始化的时候，更新太大，陷入了局部最优，跑不出去了。都是根据模型的Encoder（N）和Decoder（M）层数计算出来的，通过如下方案，作者把模型的层数提升到了1000+。

pytorch LayerNorm参数详解，计算过程

热门推荐

weixin_39228381的博客

08-11

9万+

说明 LayerNorm中不会像BatchNorm那样跟踪统计全局的均值方差，因此train()和eval()对LayerNorm没有影响。 LayerNorm参数 torch.nn.LayerNorm( normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, elementwise_affine: bool = True) normalized_shape

Pytorch LayerNorm源码详解

分享机器学习、深度学习、分布式计算、MLSys相关领域知识

08-15

7371

Pytorch LayerNorm源码详解

Pytorch中layernorm实现详解

tortorish的博客

03-19

886

Pytorch中layernorm实现详解

pytorch之LayerNorm

ltochange的博客

08-24

2564

LayerNorm 相比 BatchNorm 有以下两个优点： LN 针对单个训练样本进行，不依赖于其他数据，因此可以避免 BN 中受 mini-batch 数据分布影响的问题，可以用于小mini-batch场景、动态网络场景和 RNN，特别是自然语言处理领域。 LN 不需要保存 mini-batch 的均值和方差，节省了额外的存储空间。更具体介绍参考模型优化之Layer Normalization y=x−E[x]Var⁡[x]+ϵ∗γ+β y=\frac{x-\mathrm{E}[x]}{\sq

深度学习模型组件-LayerNorm-层归一化（Layer Normalization, LayerNorm）

一名从Java开发工程师转型的人工智能研究生，致力于图像修复和图像超分领域的探索与研究。通过博客分享个人的学习心得、研究成果以及在人工智能应用中的实际经验，欢迎与同行交流。

03-05

4490

层归一化（Layer Normalization，简称 LayerNorm）是一种用于深度学习的归一化技术，由 Ba, Kiros, and Hinton在 2016 年提出。它的主要目的是解决批归一化（Batch Normalization, BN）在小批量（mini-batch）训练或循环神经网络（RNN）中的局限性。

【手推深度学习导数系列】1. LayerNorm

hottie_xiaomiao的博客

08-26

396

本文详细推导了LayerNorm层的前向计算和反向传播过程。前向计算包括对输入x求均值μ和方差σ，进行归一化后通过γ、β参数缩放偏移。反向传播中，对参数γ、β的导数以及对输入的与输入x及其统计量相关；对输入x的导数则更为复杂，涉及多元复合函数求导，最终结果与输入x、均值μ、标准差σ相关。这些推导为后续分析激活值显存占用提供了理论基础。

【有啥问啥】深入理解 Layer Normalization (LayerNorm)：深度学习的稳定基石

Chauvin的博客

04-28

1317

特性BatchNormLayerNorm规范化维度跨样本的同一特征单一样本内的所有特征Batch Size 依赖性依赖 Batch Size，小 Batch Size 下性能下降与 Batch Size 无关序列数据处理处理变长序列复杂天然契合序列数据处理训练推理一致性需要维护移动平均统计量，行为不一致训练推理使用相同逻辑，行为一致。

LayerNorm的理解

Jayn的专栏

04-30

1万+

LayerNorm计算公式： y=x−E(x)Var⁡(x)+ϵ∗γ+β y=\frac{x-E(x)}{\sqrt{\operatorname{Var}(x)+\epsilon}} * \gamma+\beta y=Var(x)+ϵx−E(x)∗γ+β 一般有两种计算LayerNorm的方式，这两种方式的区别在与进行归一化操作的维度不同，假设输入的tensor维度为NxCxHxW,则两种计算方式分别如下：（1）计算一个batch中所有channel中所有参数的均值和方差，然后进行归一化，操作维度为C

pytorch LayerNorm说明

蓝羽飞鸟的博客

02-22

1262

对一个mini-batch的input做归一化计算 x指一个batch的input，如下图，图中，N表示batch数，(C,H,W)本来应该是3维，现把(H, W)二维图像拉成一条，一共C个channel, 每个channel对应一条H,W 蓝色部分表示一个batch内的(C, H, W)，即x 计算x的均值，方差，做归一化参数列表示例参考链接 ...

Layer Norm

lt1103725556的博客

04-07

5364

参考ConvNeXt中的Layer Normalization(LN) - 海斌的文章 - 知乎 https://zhuanlan.zhihu.com/p/481901798 Layer Norm本来是一个样本norm自己，如图所示：也就是说，在[C,H,W]维进行归一化而ConvNeXt中是这样：也就是在C的维度归一化，即单一像素的所有channel做归一化。两者实现方式上有所不同。可以用F.layer_norm实现，也可以用nn.layer_norm实现，这里选用F.layer_nor.

大模型-Layer Normalization 篇

最新发布

有朋自远方来，不亦乐乎。

09-18

137

有区别。Post LNa. 位置：layernorm 在残差链接之后b. 缺点：PostLN 在深层的梯度范式逐渐增大，导致使用 Post-LN 的深层 Transformer 容易出现训练不稳定的问题Pre-LNa. 位置：layernorm 在残差链接中b. 优点：相比于 Post-LN，Pre-LN 在深层的梯度范式近似相等，所以使用 Pre-LN 的深层 Transformer 训练更稳定，可以缓解训练不稳定问题c. 缺点：相比于 Post-LN，Pre-LN 的模型效果略差。

pytorch 层标准化 LayerNorm 的用法

Flag_ing的博客

04-19

5万+

目录 1、为什么要标准化（理解的直接跳过到这部分） 2、LayerNorm 解释 3、举例-只对最后 1 个维度进行标准化 4、举例-对最后 D 个维度进行标准化 1、为什么要标准化（理解的直接跳过到这部分） Batch Normalization 的作用就是把神经元在经过非线性函数映射后向取值区间极限饱和区靠拢的输入分布强行拉回到均值为 0 方差为 1 的比较标准的正态分布的区间，使得非线性变换函数的输入值落入激活函数比较敏感的区域，这样会让让梯度变大，由此避免了梯度消失的问题。而梯度变大..

神经网络中的LayerNorm详解

wzkecps770126的博客

01-17

3020

假设我们有一个批次的NLP数据，包含3个句子（batch_size=3），每个句子有4个单词，每个单词用2维的词向量表示。对于第2个特征维度（所有词向量的第2个数字）：计算 [2,4,6,8, 3,5,7,9, 4,6,8,10] 的均值和方差。对于第1个特征维度（所有词向量的第1个数字）：计算 [1,3,5,7, 2,4,6,8, 3,5,7,9] 的均值和方差。BatchNorm：跨样本（句子）计算，把每个特征维度在所有句子上的值收集起来，单独归一化。

layernorm pytorch实现

01-24

### PyTorch 中 LayerNorm 的实现在 PyTorch 中，`nn.LayerNorm` 可用于对输入张量执行层归一化操作。该模块会对每个样本的特征进行归一化处理，而不是像批量归一化那样基于整个批次的数据。对于给定形状 `(N, C, H, W)` 的输入张量，其中 `N` 是 batch size，`C` 表示 channel 数目，而 `H`, `W` 则分别代表高度和宽度；可以通过指定 `normalized_shape` 参数来定义要被标准化的空间维度[^2]。 #### 代码实例展示以下是具体的应用例子： ```python import torch import torch.nn as nn # 定义一个随机初始化的四维张量作为模型输入 input_tensor = torch.randn(2, 3, 3, 3) # 初始化 LayerNorm 层，这里设置 normalized_shape=[3, 3, 3], 即针对最后三个维度做归一化 layer_norm = nn.LayerNorm([3, 3, 3]) # 应用 LayerNorm 并获取输出 output = layer_norm(input_tensor) print(f'Output shape after applying LayerNorm: {output.shape}') ``` 这段程序创建了一个 `LayerNorm` 实例，并将其应用于具有特定尺寸的输入数据上。最终打印出来的结果会显示经过层归一化后的输出张量形状保持不变，即仍为 `[batch_size, channels, height, width]` 形式。