Pre Norm与Post Norm的区别

已于 2024-12-23 15:55:38 修改
阅读量353 收藏 1
点赞数 3
文章标签： 机器学习 人工智能
于 2024-10-09 16:20:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74180527/article/details/142789172
版权

Post Norm公式:

x_{t+1}=Norm(x_{t}+F_{t}(x_{t}))

Pre Norm公式：

x_{t+1}=x_{t}+F_{t}(Norm(x_{t}))

从公式可以看出：在对模型更新时，Pre Norm靠前层梯度大，靠后层的梯度小,Post Norm恰好相反。

Post Norm 会导致越靠前的层衰减的越严重，这和残差连接设计的初衷是相悖的，而且训练起来也不稳定，梯度容易爆炸，收敛较为困难（须使用warmup机制）。

Pre Norm训练稳定，收敛性好（大模型由于训练的成本较大，基本都使用该方法），但Pre-Norm实际上相当于通过了一个更宽的网络而非更深的网络，在同等深度下，Pre-Norm的实际效果相当于一个更浅却更宽的网络，实际效果不如Post Norm。

参考：

Index - 笔记

MriX୧⍤⃝
关注
​为什么Pre Norm的效果不如Post Norm？
Paper weekly
05-01 1643
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络Pre Norm 与 Post Norm 之间的对比是一个“老生常谈”的话题了，本博客就多次讨论过这个问题，比如文章《浅谈 Transformer 的初始化、参数化与标准化》[1]、《模型优化漫谈：BERT 的初始标准差为什么是 0.02？》等。目前比较明确的结论是：同一设...
Pre Norm 和 Post Norm 各自的优缺点？
强化学习曾小健
07-09 3144
但是 Pre Norm 也并不是都是好的，这篇论文指出，Pre Norm 有潜在的（表示塌陷） representation collapse 问题，具体来说就是靠近输出位置的层会变得非常相似，从而对模型的贡献会变小。即使加了 warm up，对warm up 参数的设置也很敏感，比如 warm up step 在500 步时，不同的lrmax 的 BLEU 一个31，一个还不到3。的均值为0，方差都为1，且相互独立。早期的很多模型都用的是 Post Norm，比如著名的 Bert。
【NLP高频面题 - LLM架构篇】LLM对Transformer都有哪些优化？
一个程序猿的AI转型之路
11-28 1113
⚠︎ 重要性：★★★ 💯介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验介绍：该仓库主要分享了数百本 AI 领域电子书介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器介绍：该仓库汇总了 NLP 算法工程师高频面题。
Transformer番外：PreNorm 效果不如 PostNorm 的原因
Vessel_Liu的博客
03-05 756
PreNorm 倾向于退化为一个“浅而宽”的模型，即在 PreNorm 中多层叠加的结果更多是增加宽度而不是深度，而在深度学习网络中深度更加重要，这使得PreNorm 模型的效果变差。PostNorm 是更突出残差分支的，因此Post Norm中的层数更加“足秤”，一旦训练好之后效果更优
【Transformer】Post-Norm和Pre-Norm
weixin_43799388的博客
09-09 2174
Post Norm对模型，尤其是较深的模型训练不稳定，梯度容易爆炸，学习率敏感，初始化权重敏感，收敛困难。因此需要做大量调参工作，以及learning rate warm up的必要工作，费时费力潜在好处是，在效果上的优势，但是这个事情还需要大量专业的实验来验证，毕竟现在大模型训练太费钱了，Post Norm 在效果上带来的提升很可能不如多扔点数据让 Pre Norm 更快的训练出来Pre Norm在训练稳定和收敛性方面有明显的优势，所以大模型时代基本都无脑使用 Pre Norm 了。
PreNorm和PostNorm对比
taoqick的专栏
01-27 3918
标准的Transformer使用的是PostNorm在完全相同的训练设置下Pre Norm的效果要优于Post Norm，这只能显示出Pre Norm更容易训练，因为Post Norm要达到自己的最优效果，不能用跟Pre Norm一样的训练配置（比如，这里说的warmup是指先给一个小的学习率warmup，然后再Linear decay）。Attention is all you need其实介绍过这种warmup(如下面截图)
pre-norm 和 post-norm 的区别
w18013886857的博客
10-28 1762
之前关注过 pre-norm 和 post-norm 的区别，这篇文章中的 deepnorm 进一步发扬了这一点。
为什么大模型结构设计中往往使用postNorm而不用preNorm？
stephen147的博客
06-29 2039
*如果不进行Wamrup，那么模型一开始就快速地学习，由于梯度消失，模型对越靠后的层越敏感，也就是越靠后的层学习得越快，**然后后面的层是以前面的层的输出为输入的，前面的层根本就没学好，所以后面的层虽然学得快，但却是建立在糟糕的输入基础上的。很快地，后面的层以糟糕的输入为基础到达了一个糟糕的局部最优点，此时它的学习开始放缓（因为已经到达了它认为的最优点附近），同时反向传播给前面层的梯度信号进一步变弱，这就导致了前面的层的梯度变得不准。而因为pre Norm实际层数少了导致效果变差了。
[从0开始AIGC][LLM]：Pre-Norm or Post-Norm？训练效率还是训练效果？
Bin_Dut的博客
08-27 961
Pre-Norm和Post-Norm之间的对比是一个“老生常谈“的问题，目前也没有一个比较好的结论解释清楚，当前比较明确的结论是：同一设置下，Pre-Norm结构往往更加容易训练，但最终效果不如Post-Norm。Pre Norm更容易训练好理解，因为它的恒等路径更突出，但为什么它效果反而没那么好呢？
Pre-Norm结构
最新发布
03-29
### Pre-Norm 结构与 Post-Norm 的对比 #### 定义与背景 Transformer 中的规范化操作通常分为两种主要形式：Post-Norm 和 Pre-Norm。这两种方法的主要区别在于 Layer Normalization (LN) 应用于残差连接的位置不同...
2022年4月18日字节跳动机器学习AILab一面面试题
weixin_48003282的博客
04-22 1777
1、BN和LN区别。 2、讲讲self attention。 3、Bert的预训练过程。 4、Pre Norm与Post Norm的区别？ 5、GPT与Bert的区别。 6、如何加速Bert模型的训练。
pre归一化和post归一化的比较
m0_61913233的博客
09-04 608
当t足够大时，Ft-1(Norm(xt-1)) 近似等于 Ft(Norm(xt))，因此原本一个t层的模型与t+1层和，近似等效于一个更宽的t层模型，所以在Pre Norm中多层叠加的结果。但是pre Norm相较于post Norm还是在一些方面是有优势的：可以发现post Norm在梯度范数是不均匀的，越深的层的梯度越大，pre Norm的梯度范数是均匀的。参照我们的plato模型：我们的plato模型使用的归一化是pre Norm。而我们知道，对深度学习而言，网络深度的重要性往往大于网络的宽度。
大模型面试常考知识点1
baidu_33000721的博客
05-10 1088
大模型面试必考题
大模型——理论基础——常用的Norm
fan_fan_feng的专栏
02-01 8760
这样的顺序对于训练更深的网络可能更稳定，因为归一化的输入可以帮助缓解训练过程中的梯度消失和梯度爆炸问题。比于LN，可以发现，不论是分母的方差和分子部分，都取消了均值计算，经作者在各种场景中实验发现，减少约 7%∼64% 的计算时间。通过上面三组实验，作者认为 Post-LN 的不稳定性部分来自于梯度消失以及初始化的时候，更新太大，陷入了局部最优，跑不出去了。都是根据模型的Encoder（N）和Decoder（M）层数计算出来的，通过如下方案，作者把模型的层数提升到了1000+。
每天一个知识点——Normalization
kavin_star的博客
08-10 1649
学习过程的记录与总结，有些是个人的理解，不一定全对，欢迎讨论和指正
Meta最新模型LLaMA细节与代码详解
热门推荐
weixin_44826203的博客
03-06 4万+
本文对Facebook Meta AI最新提出的大语言模型LLaMA进行简单的介绍，以及对其开源出的代码和细节进行了详细的说明。
大语言模型 --- 简历强相关
Faded1128的博客
08-23 905
在涉及到矩阵相乘的模块，在原始的PLM旁边增加一个新的通路，通过前后两个矩阵A,B相乘，第一个矩阵A负责降维，第二个矩阵B负责升维，中间层维度为r，从而来模拟所谓的本征秩（intrinsic rank）与layerNorm相比，RMS Norm的主要区别在于去掉了减去均值的部分，作者认为这种模式在简化了Layer Norm的同时，可以在各个模型上减少约 7%∼64% 的计算时间。对于给定的计算预算，最佳性能不是由最大的模型实现的，而是由在更多数据上训练的较小模型实现的。1. 有一个预训练模型。
探究Transformer中PostNorm/PreNorm/Initialization/LearningRate之间的关系
小岁月太着急
12-16 7933
论文：On Layer Normalization in the Transformer Architecture 推荐说明：我们知道，在原始的Transformer中，Layer Norm在跟在Residual之后的，我们把这个称为Post-LN Transformer；而且...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值