layernorm笔记

于 2024-10-07 21:39:39 发布
阅读量242 收藏 1
点赞数 3
分类专栏： 深度学习 文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_70770395/article/details/142744123
版权

文章目录

layer norm的解释

二维

红色为batchnorm，蓝色为layer norm
batchnorm对每一个特征算均值和方差
layer norm对每一个批次算均值和方差
在这里插入图片描述

三维

红色为batchnorm，蓝色为layer norm
batchnorm对每个句子的第K个词做归一化
layer norm对每个句子的每个词做归一化
在这里插入图片描述

batchnorm和layernorm主要的区别

在算均值和方差的上面

batchnorm

在这里插入图片描述
理论算矩阵中阴影面积中的方差和均值，实际算整个矩阵中的方差和均值阴影部分的长度为小批量中的句子长度，用0补全

  • 均值和方差波动比较大

  • 预测时，如果预测样本的长度超过训练样本的最大长度，使用训练的均值和方差效果可能不是那么好
    layernorm
    在这里插入图片描述
    矩阵中阴影部分的面积算方差和均值
    每个样本（每个句子里面自己所有的词）自己算均值和方差，不需要存一个全局的均值和方差，因为是对每个样本做的norm。

为什么要在序列转录模型中使用layer norm？

在时序的样本中，每个样本的长度可能发生变化
源自李沐论文讲解

返返返
关注
专栏目录
RMSNorm 和 LayerNorm 笔记
kjzd123的博客
08-20 497
LayerNorm通过计算均值和标准差对输入进行归一化，适用于各种深度学习模型，特别是在处理不同长度的输入序列时表现良好。RMSNorm通过计算均方根进行归一化，避免了均值和标准差的计算，具有计算简单、数值稳定性高等优点，在某些任务中表现更好。选择使用哪种归一化方法应根据具体的任务需求和实验结果来决定。
BatchNorm、LayerNorm、InstanceNorm以及GroupNorm
zwplus的博客
04-04 1201
如果某个特征的值明显大于另一个特征，这会导致模型输出的结果对该特征变化变的十分敏感。
【笔记】Transformer中的LayerNorm是对某一样本的某一个patch下的所有维度进行正则化：而传统的LayerNorm是对一个batch中的某一个样本的所有channels进行正则化
nyist_yangguang的博客
08-02 144
【代码】【笔记】Transformer中的LayerNorm是对同一样本的单个patch下的所有维度进行正则化：而传统的LayerNorm是对一个batch中的同一个样本的所有channels进行正则化。
【BBuf的CUDA笔记】十二，LayerNorm/RMSNorm的重计算实现
I good vegetable a!
01-15 1960
我也是偶然在知乎的一个问题下看到这个问题，大概就是说在使用apex的LayerNorm/RMSNorm的时候可以打开这个api的memory_efficient开关，这个开关可以在速度和精度无损的情况下节省网络训练的显存占用。感觉比较有趣，我就研究了一下，因此也就有了这篇文章。我去实测了一下，单机8卡A100训练LLama7B，纯数据并行的情况下打开memory_efficient开关相比于不打开节省了大约2个G的显存，如果模型继续scale up，那么省掉的显存也会更多。因此，本文就是对这个memory_
笔记70：BatchNorm / LayerNorm / GroupNorm 对比
weixin_44063383的博客
12-10 78
笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\4. Transformer 网络变体。
001-批次归一化Batch Normalization (BatchNorm)与层归一化Layer Normalization (LayerNorm)的介绍与对比
九年义务教育漏网之鱼的博客
07-20 1344
批次归一化Batch Normalization (BatchNorm)与层归一化Layer Normalization (LayerNorm)的介绍与对比
batchNorm 和layernorm的区别
m0_50089584的博客
07-01 478
Batch Normalization (BN) 是一种在深度学习中常见的技术，它通过对每一批数据的特征进行归一化处理，使得每一层的输入数据分布趋于稳定，从而加速网络的收敛速度并提高模型的泛化能力。Layer Normalization (LN) 是另一种深度学习中的归一化技术，它对每个样本的所有特征进行归一化，主要用于处理同一样本内部特征之间的分布差异。
Vision Mamba代码笔记
Zssss12的博客
05-20 4778
事实上Vision Mamba重写了这个Mamba类，可以看到里边是由bimamba_type这个参数的（这其实也是Vision Mamba的主要贡献），执行如下代码。值得说明的一点是，如果你之前在跑其他的mamba，环境拿过来是不能直接直接用的，因为标准的Mamba类是没有bimamba_type这个参数的，所以，需要去Vim代码官网去找到mamba-1p1p1包，下载之后放自己项目里。按照官方readme.md配置，如果有问题照着下面这个链接改。我手敲的带中文注释的链接。
Group Norm 学习笔记
Learning
08-19 615
论文：《Group Normalization》 地址：https://arxiv.org/pdf/1803.08494.pdf 优势：小批量训练时优势明显（相比另三个 Norm） 其他：Batch Norm、Layer Norm、Instance Norm 方法 将通道分组，在每组做 Norm 代码 源自论文 def GroupNorm(x, gamma, beta, G, eps=1e−5): # x: input features with shape [N,C,H,W] # gamm.
深度学习笔记之Transformer(四)铺垫：层标准化(Layer Normalization)
静静的学习就好
07-04 2645
在介绍Transformer模型架构之前，首先介绍Transformer的核心架构之一：层标准化(Layer Normalization)。
ViT模型关联的Layer Normalization研读（一）初学者
m0_60920298的博客
04-18 2488
巨佬请关闭！ 博主水平有限，本文目的是让大一大二有志于NLP领域学习的大学生们少走弯路，可当作学习笔记。今天在重新回顾ViT模型的基本结构的时候，发现很多知识盲区，这仅是其中一个。 Layer Normalization利用神经元输入的总和分布在一个小批量的训练案例上来计算均值和方差，然后用这些均值和方差来规范化每个训练案例上该神经元的总和输入。 批一归一化依赖于batch_size,RNN中（时间步骤不确定）不适用。 ...
PyTorch学习笔记（三）参数初始化与各种Norm层
longrootchen的博客
04-21 4507
本文记录了 PyTorch 中模型参数的初始化和四种 Norm 层的使用。
关于nan, 梯度爆炸，loss爆炸 不完全总结笔记（自用）
芝麻挞
05-19 2568
1. 加自动监测函数找异常值 import torch # 正向传播时：开启自动求导的异常侦测 torch.autograd.set_detect_anomaly(True) # 反向传播时：在求导时开启侦测 with torch.autograd.detect_anomaly(): loss.backward() 2. 自定义的loss注意除法时分母不是0 注意分母加eps保证计算稳定性 3. log(0), sqrt(0) 会导致nan，0 * inf也会变成nan 判断nan不能用 == 或 i
PyTorh笔记 - LN: Layer Normalization
Mystra
12-22 638
Batch Normalization，计算mini-batch的均值和方差，在FFN(Feed Forward Neural Networks)中，显著降低训练时间。每个时刻单独归一化，不同时刻的可学习参数，增益(gain)和偏置(bias)是共享的，re-centers(加)、re-scales(乘)，维度是hidden size。Layer Normalization，对于单个single样本进行归一化，增加两个学习量，gain和bias(偏置)，同时，训练和测试的表现是一致的，与BN不同。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第5关---XTuner 微调个人小助手认知
最新发布
haidizym的博客
10-06 421
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1tz421B72y/课程文档：关卡作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台：https://studio.intern-ai.org.cn/
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 934
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 558
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
强化学习笔记之【DDPG算法】
rvdgdsva的博客
10-06 836
强化学习第2篇.强化学习方向的学习者可以参考或者复刻
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

返返返

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值