【归一化】RMSNorm

已于 2023-12-26 20:33:29 修改
阅读量1.8k 收藏 22
点赞数 18
分类专栏： LLM 文章标签： 深度学习 机器学习 pytorch
于 2023-12-21 11:04:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Elvira521yan/article/details/135126033
版权

RMSNorm

输入向量 x ∈ R m x \in \mathbb{R^m} x∈Rm,输出向量 y ∈ R n y\in \mathbb{R^n} y∈Rn

线性变换： y i = f ( a i + b i ) y_i= f(a_i+b_i) yi​=f(ai​+bi​)

其中：

  • 非线性激活函数： a i = ∑ j = 1 m w i j x j a_i=\displaystyle \sum^m_{j=1}w_{ij}x_j ai​=j=1∑m​wij​xj​
最低0.47元/天 解锁文章
Llama改进之——均方根层归一化RMSNorm
日积月累，天道酬勤
04-23 1万+
本文介绍Llama模型引入的均方根层归一化改进。
Llama 美洲鸵（大羊驼）改进之一：均方层归一化RMSNorm【BatchNorm、LayerNorm、RMSNorm】
u013250861的博客
02-04 729
Llama 美洲鸵（大羊驼）改进之一：均方层归一化RMSNorm-CSDN博客
RMSNorm（RMS归一化）介绍
2301_79093491的博客
11-01 5770
RMSNorm通过简化归一化过程，降低计算复杂度，提供了一种有效的归一化方法。它在保持模型性能的同时，提高了计算效率，是LayerNorm的有力替代方案。对于需要高效归一化操作的深度学习模型，RMSNorm是一个值得考虑的选择。
【LLM】Layer Norm 和 RMS Norm 的区别？
2665000101@qq.com
02-03 1942
Layer Norm 对每个样本在特征维度上进行归一化，计算均值和方差，并对输入进行缩放和平移。
RMSNorm：简化层归一化的开源利器
gitblog_01033的博客
09-03 1169
RMSNorm：简化层归一化的开源利器 rmsnormRoot Mean Square Layer Normalization项目地址:https://gitcode.com/gh_mirrors/rm/rmsnorm 项目介绍 RMSNorm，全称为 Root Mean Square Layer Normalization，是对传统的层归一化（LayerNorm）的一种简化实现。层归一化是一种...
rms归一化_Batch Normalization：批量归一化
weixin_39654436的博客
12-20 894
1. 批量归一化(Batch Normalization)：为了让数据在训练过程中保持同一分布，在每一个隐藏层进行批量归一化。对于每一个batch，计算该batch的均值与方差，在将线性计算结果送入激活函数之前，先对计算结果进行批量归一化处理，即减均值、除标准差，保证计算结果符合均值为0，方差为1的标准正态分布，然后再将计算结果作为激活函数的输入值进行计算。批量归一化的本质：对于每个隐层神经元，把...
Llama 美洲鸵（大羊驼）改进之一：均方层归一化RMSNorm
热门推荐
AI生成式技术曾小健
06-09 1万+
没有做re-center操作（移除了其中的均值项。
【Llama源码】归一化RMSNorm
OldButSimple的博客
05-29 1031
RMSNorm是在Layer Norm之上的改进，它通过舍弃中心不变性来降低计算量。针对输入input的每个元素的平方根的倒数来返回一个新的Tensor。
深度学习中基于根均方统计的层归一化方法-RMSNorm的提出及其应用
02-02
内容概要：本文介绍了一种新的正则化方法 —— 根均方层归一化（RMSNorm），该方法旨在克服传统LayerNorm引入计算复杂度的瓶颈。研究表明，RMSNorm通过仅采用输入的平方和根进行规范化而不进行重中心化操作，从而...
深度学习优化算法入门：二、动量、RMSProp、Adam
zenRRan的博客
10-07 421
来源：Paperspace编译：weakish来源：论智编者按：DRDO研究人员Ayoosh Kathuria深入浅出地介绍了牛顿法、动量法、RMSProp、Adam优化算法。本系列的上...
【RMSNorm】Root Mean Square Layer Normalization
十一月廿七风雨大作
04-05 5304
论文改进了大模型领域常用的`LayerNorm`，提出`RMSNorm`(均方差层归一化)。相比于`LayerNorm`，`RMSNorm`开销更小，训练更快，性能与`LayerNorm`基本相当。
rms归一化_基于RMS分频的高可懂度语音评价方法
weixin_39967120的博客
01-12 572
2018，54(21)1引言语音可懂度是语音信号的一种重要属性。目前很多研究学者提出大量语音可懂度的评价方法来预测背景噪声条件下的语音可懂度。传统的语音可懂度客观评价方法有语音清晰度指数SII(SpeechIntelligenceIndex)通过计算每个频带的加权平均值计算语音可懂度；基于LPC(LinearPredictiveCoding，LPC)客观评价方法将原输入信号与处理信号之间的包络差异...
【RMSNorm】RMSNorm详解
fanjinglian_的博客
12-05 2181
在深度学习和自然语言处理领域，归一化（Normalization）技术广泛用于提高模型的训练速度和稳定性。（Root Mean Square Normalization）是一种相对较新的归一化方法，它与传统的归一化技术（如和）相比，具有一些独特的优势。本文将详细介绍 RMSNorm 的原理、优缺点及其在实际应用中的效果。
RMSNorm均方根标准化
weixin_40777649的博客
12-26 6773
【代码】RMSNorm均方根标准化。
【AutoML】归一化(Normalization)方法如何进行自动学习和配置
hacker_long的专栏
10-28 872
大家好，欢迎来到专栏《AutoML》，在这个专栏中我们会讲述AutoML技术在深度学习中的应用。这一期讲述在归一化机制中的应用。作者&编辑 | 言有三数据经过归一...
RMSNorm原理及代码
qq_29787929的博客
02-14 2421
代码来源于：https://github.com/huggingface/transformers/tree/main/src/transformers/models/llama/modeling_llama.py。在LLaMA中使用RMSNorm替代LayerNorm，因为RMSNorm相比LayerNorm，不需要计算样本与均值的差（减少了计算量，加快了训练速度）如下是LayerNorm与RMSNorm的公式。层归一化是对一个样本中的不同特征进行归一化。批量归一化是对一个批次内的数据进行归一化。
RMSNorm论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-07 5568
RMS具有线性特征，所以提出可以用部分数据的RMSNorm来代替全部的计算，pRMSNorm表示使用前p%的数据计算RMS值。k=n*p表示用于RMS计算的元素个数。实测中，使用6.25%的数据量可以收敛BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布。
RMSnorm 均方根正则化
m0_63372012的博客
07-26 297
【代码】RMSnorm 均方根正则化。
RMSNorm 归一化函数作用
最新发布
04-03
### RMSNorm 归一化函数的作用 RMSNorm 是一种用于深度学习中的归一化技术，其全称为 Root Mean Square Layer Normalization。它通过计算输入张量的平方根均方值来调整激活值的尺度，从而稳定训练过程并加速收敛[^3]。 #### 数学定义 RMSNorm 的核心思想是对每一层的输出应用如下公式： \[ y = \frac{x}{\sqrt{\text{E}[x^2] + \epsilon}} \] 其中： - \(x\) 表示输入向量， - \(\text{E}[x^2]\) 表示输入向量各维度上平方值的期望（即平均值）， - \(\epsilon\) 是一个小常数，用来防止除零错误， - \(y\) 是经过 RMSNorm 处理后的输出。 相比传统的 Layer Norm (LN)，RMSNorm 不会减去输入的均值，因此减少了部分计算开销，同时保留了对特征尺度的有效控制[^4]。 #### 应用场景 RMSNorm 常被应用于自然语言处理领域的大规模预训练模型中，尤其是在 Transformer 架构下。由于这些模型通常具有非常深的网络结构，使用 RMSNorm 可以帮助缓解梯度消失或爆炸问题，并提高模型泛化能力[^5]。 以下是实现 RMSNorm 的 Python 代码示例： ```python import torch import torch.nn as nn class RMSNorm(nn.Module): def __init__(self, dim: int, eps: float = 1e-8): super().__init__() self.scale = nn.Parameter(torch.ones(dim)) self.eps = eps def forward(self, x: torch.Tensor): norm_x = x.norm(keepdim=True, p=2, dim=-1) rms = norm_x * torch.rsqrt(norm_x.pow(2).mean(-1, keepdim=True) + self.eps) return rms * self.scale ``` 此代码片段展示了如何构建一个简单的 RMSNorm 层，适用于 PyTorch 框架下的神经网络模型。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值