PreNorm和PostNorm对比

最新推荐文章于 2025-04-21 21:58:40 发布
最新推荐文章于 2025-04-21 21:58:40 发布
阅读量4k 收藏 7
点赞数 12
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taoqick/article/details/135877428
版权

要点总结

  • 标准的Transformer使用的是PostNorm

  • 在完全相同的训练设置下Pre Norm的效果要优于Post Norm，这只能显示出Pre Norm更容易训练，因为Post Norm要达到自己的最优效果，不能用跟Pre Norm一样的训练配置（比如Pre Norm可以不加Warmup但Post Norm通常要加，这里说的warmup是指先给一个小的学习率warmup，然后再Linear decay）。Attention is all you need其实介绍过这种warmup(如下面截图)
    在这里插入图片描述

  • 在huggingface的VitTransformer中，笔者发现layernorm_before和layernorm_after都被用了（python3.9/site-packages/transformers/models/vit/modeling_vit.py）
    在这里插入图片描述

一些博客论文理解与转载

On Layer Normalization in the Transformer Architecture

这篇文章其实重点解释了Pre Norm可以不加Warmup但Post Norm通常要加，三个证明The main idea is that the layer normalization will normalize the gradients. In the Post-LN Transformer, the scale of the inputs to the layer normalization is independent of L, and thus the gradients of parameters in the last layer are independent of L.

为什么Pre Norm的效果不如Post Norm

在这里插入图片描述

taoqick
关注
2022年4月18日字节跳动机器学习AILab一面面试题
weixin_48003282的博客
04-22 1789
1、BN和LN区别。 2、讲讲self attention。 3、Bert的预训练过程。 4、Pre Norm与Post Norm的区别？ 5、GPT与Bert的区别。 6、如何加速Bert模型的训练。
Pre Norm 和 Post Norm 各自的优缺点？
强化学习曾小健
07-09 3220
但是 Pre Norm 也并不是都是好的，这篇论文指出，Pre Norm 有潜在的（表示塌陷） representation collapse 问题，具体来说就是靠近输出位置的层会变得非常相似，从而对模型的贡献会变小。即使加了 warm up，对warm up 参数的设置也很敏感，比如 warm up step 在500 步时，不同的lrmax 的 BLEU 一个31，一个还不到3。的均值为0，方差都为1，且相互独立。早期的很多模型都用的是 Post Norm，比如著名的 Bert。
【Transformer】Post-Norm和Pre-Norm
weixin_43799388的博客
09-09 2317
Post Norm对模型，尤其是较深的模型训练不稳定，梯度容易爆炸，学习率敏感，初始化权重敏感，收敛困难。因此需要做大量调参工作，以及learning rate warm up的必要工作，费时费力潜在好处是，在效果上的优势，但是这个事情还需要大量专业的实验来验证，毕竟现在大模型训练太费钱了，Post Norm 在效果上带来的提升很可能不如多扔点数据让 Pre Norm 更快的训练出来Pre Norm在训练稳定和收敛性方面有明显的优势，所以大模型时代基本都无脑使用 Pre Norm 了。
Transformer中Post-Norm和Pre-Norm如何选择？
最新发布
大鹏的专栏
04-21 676
这种路径的核心作用是保留原始输入的信息，并通过残差连接（Residual Connection）等机制帮助梯度更顺畅地反向传播，避免深层网络中的梯度消失问题。其中第二项的方差由于有 norm 是不随层数变化的，于是 x 的方差会在主干上随层数积累。到了深层以后，单层对主干的影响可以视为小量，而不同层的 f 统计上是相似的，于是有。这样训练出来的深层 ResNet or Transformer，深层部分实际上更像扩展了模型宽度，所以相对好训练，但某种意义上并不是真正的 deep.
pre-norm 和 post-norm 的区别
w18013886857的博客
10-28 1781
之前关注过 pre-norm 和 post-norm 的区别，这篇文章中的 deepnorm 进一步发扬了这一点。
Pre Norm与Post Norm的区别
m0_74180527的博客
10-09 386
Pre Norm训练稳定，收敛性好（大模型由于训练的成本较大，基本都使用该方法），但Pre-Norm实际上相当于通过了一个更宽的网络而非更深的网络，在同等深度下，Pre-Norm的实际效果相当于一个更浅却更宽的网络，实际效果不如Post Norm。Post Norm 会导致越靠前的层衰减的越严重，这和残差连接设计的初衷是相悖的，而且训练起来也不稳定，梯度容易爆炸，收敛较为困难（须使用warmup机制）。
​为什么Pre Norm的效果不如Post Norm？
Paper weekly
05-01 1661
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络Pre Norm 与 Post Norm 之间的对比是一个“老生常谈”的话题了，本博客就多次讨论过这个问题，比如文章《浅谈 Transformer 的初始化、参数化与标准化》[1]、《模型优化漫谈：BERT 的初始标准差为什么是 0.02？》等。目前比较明确的结论是：同一设...
为什么大模型结构设计中往往使用postNorm而不用preNorm？
stephen147的博客
06-29 2062
*如果不进行Wamrup，那么模型一开始就快速地学习，由于梯度消失，模型对越靠后的层越敏感，也就是越靠后的层学习得越快，**然后后面的层是以前面的层的输出为输入的，前面的层根本就没学好，所以后面的层虽然学得快，但却是建立在糟糕的输入基础上的。很快地，后面的层以糟糕的输入为基础到达了一个糟糕的局部最优点，此时它的学习开始放缓（因为已经到达了它认为的最优点附近），同时反向传播给前面层的梯度信号进一步变弱，这就导致了前面的层的梯度变得不准。而因为pre Norm实际层数少了导致效果变差了。
pre归一化和post归一化的比较
m0_61913233的博客
09-04 620
当t足够大时，Ft-1(Norm(xt-1)) 近似等于 Ft(Norm(xt))，因此原本一个t层的模型与t+1层和，近似等效于一个更宽的t层模型，所以在Pre Norm中多层叠加的结果。但是pre Norm相较于post Norm还是在一些方面是有优势的：可以发现post Norm在梯度范数是不均匀的，越深的层的梯度越大，pre Norm的梯度范数是均匀的。参照我们的plato模型：我们的plato模型使用的归一化是pre Norm。而我们知道，对深度学习而言，网络深度的重要性往往大于网络的宽度。
postnorm和prenorm LLAMA
03-26
### LLAMA Postnorm 和 Prenorm 的区别 在 Transformer 架构中，Postnorm 和 Prenorm 是两种不同的残差连接与层归一化（Layer Normalization）的应用方式。这两种方法的主要差异在于层归一化的应用位置。 #### 1. ...
LLama2和chatGLM2细节优化
stephen147的博客
06-29 835
1）
[从0开始AIGC][LLM]：Pre-Norm or Post-Norm？训练效率还是训练效果？
Bin_Dut的博客
08-27 984
Pre-Norm和Post-Norm之间的对比是一个“老生常谈“的问题，目前也没有一个比较好的结论解释清楚，当前比较明确的结论是：同一设置下，Pre-Norm结构往往更加容易训练，但最终效果不如Post-Norm。Pre Norm更容易训练好理解，因为它的恒等路径更突出，但为什么它效果反而没那么好呢？
大模型——理论基础——常用的Norm
fan_fan_feng的专栏
02-01 8825
这样的顺序对于训练更深的网络可能更稳定，因为归一化的输入可以帮助缓解训练过程中的梯度消失和梯度爆炸问题。比于LN，可以发现，不论是分母的方差和分子部分，都取消了均值计算，经作者在各种场景中实验发现，减少约 7%∼64% 的计算时间。通过上面三组实验，作者认为 Post-LN 的不稳定性部分来自于梯度消失以及初始化的时候，更新太大，陷入了局部最优，跑不出去了。都是根据模型的Encoder（N）和Decoder（M）层数计算出来的，通过如下方案，作者把模型的层数提升到了1000+。
大模型面试常考知识点1
baidu_33000721的博客
05-10 1092
大模型面试必考题
Transformer番外：PreNorm 效果不如 PostNorm 的原因
Vessel_Liu的博客
03-05 772
PreNorm 倾向于退化为一个“浅而宽”的模型，即在 PreNorm 中多层叠加的结果更多是增加宽度而不是深度，而在深度学习网络中深度更加重要，这使得PreNorm 模型的效果变差。PostNorm 是更突出残差分支的，因此Post Norm中的层数更加“足秤”，一旦训练好之后效果更优
LLM：大模型的正则化
皮皮blog
05-30 3468
主流大模型使用的Normalization主要有三类，分别是Layer Norm，RMS Norm，以及Deep Norm。小模型的正则化参考：l1l2正则和dropout正则化[LN和BN归一化 [
探究Transformer中PostNorm/PreNorm/Initialization/LearningRate之间的关系
小岁月太着急
12-16 7974
论文：On Layer Normalization in the Transformer Architecture 推荐说明：我们知道，在原始的Transformer中，Layer Norm在跟在Residual之后的，我们把这个称为Post-LN Transformer；而且...
大语言模型 --- 简历强相关
Faded1128的博客
08-23 925
在涉及到矩阵相乘的模块，在原始的PLM旁边增加一个新的通路，通过前后两个矩阵A,B相乘，第一个矩阵A负责降维，第二个矩阵B负责升维，中间层维度为r，从而来模拟所谓的本征秩（intrinsic rank）与layerNorm相比，RMS Norm的主要区别在于去掉了减去均值的部分，作者认为这种模式在简化了Layer Norm的同时，可以在各个模型上减少约 7%∼64% 的计算时间。对于给定的计算预算，最佳性能不是由最大的模型实现的，而是由在更多数据上训练的较小模型实现的。1. 有一个预训练模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值