论文阅读之Transformer（LayerNorm与BatchNorm)

最新推荐文章于 2024-03-26 14:38:35 发布
最新推荐文章于 2024-03-26 14:38:35 发布
阅读量394 收藏 3
点赞数
分类专栏： 深度学习新知识 文章标签： 深度学习 transformer Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CandySaltySalty/article/details/129111266
版权

二维输入

  1. batchnorm：每一次把每个列，也就是每个特征，把它在一个mini-batch里面，均值变为0方差变为1。训练的时候可以做小批量，在预测的时候，可以把全局的均值算出来

  1. layernorm：每一次把每个行，也就是每个样本，把它均值变为0方差变为1。

三维输入

看图 ，跟二维差不多解释

为什么layernorm用得多一点？

1. 在持续的这些序列模型里面，每个样本的长度可能会发生变化，在算均值和方差的时候，会发现如果你的样本长度变化比较大的时候，每次做小批量，算出来的均值方差，它的抖动相对来说是比较大的。

2.在做预测的时候，是没有batch的，batchnorm我们要把全局的均值和方差记录下来，如果是batchnorm，这个全局的均值和方差如果碰到一个新的预测样本，如果特别特别长，在训练的时候没见过，那么在之前计算的均值和方差可能不那么好用的，但对layernorm没有这个问题，因为它是对每个样本自己来算，也不需要去存全局的均值和方差

沐神B站之图

CandySaltySalty
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
再思考Transformer中的Batch Normalization.pdf
03-21
自然语言处理(NLP)中神经网络模型的标准归一化方法是层归一化(LN)。这不同于计算机视觉中广泛采用的批量归一化(BN)。LN在NLP中的优先使用主要是由于经验观察，使用BN会导致NLP任务的性能显著下降;然而，对其根本原因的透彻理解并不总是显而易见的。
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
热门推荐
I am what i am
07-13 12万+
本篇博客总结几种归一化办法，并给出相应计算公式和代码。 1、综述 1.1 论文链接 1、Batch Normalization https://arxiv.org/pdf/1502.03167.pdf 2、Layer Normalizaiton https://arxiv.org/pdf/1607.06450v1.pdf 3、Instance Normalization h...
Layer Normalization 论文阅读
moment8aVry的博客
03-26 864
训练深度神经网络的计算开销很大。一个可以减少训练时间的方法是“归一化神经元活动”。近来一个叫做批量归一化的技术，在小批量训练情况下，使用一个神经元的总输入的分布来计算均值和方差，然后用于归一化每个训练样本上的神经元的总输入。这显著减少了前馈神经网络的训练时间。但是，批量归一化的影响依赖于batch size，并且不知道如何将它应用在循环神经网络中。在这篇论文中，我们不再使用一个神经元，而是使用单次训练情况下所有神经元的总输入来计算均值和方差，从而将批量归一化调换为层归一化。
Layer Normalization
便纵有千种风情
09-15 1036
论文： Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton. Layer Normalization. arXiv:1607.06450 Batch normalization 对每个channel或者hidden unit，求输入(mini-)batch上所有样本在这个channel上的均值和标准差。之后根据每个channel上的均值和...
LayerNorm 在 Transformers 中对注意力的作用研究
数据派THU
05-24 89
来源：DeepHub IMBA 本文约1000字，建议阅读5分钟 本文以直观的形式展示两个主要发现。LayerNorm 一直是 Transformer 架构的重要组成部分。如果问大多人为什么要 LayerNorm，一般的回答是：使用 LayerNorm 来归一化前向传播的激活和反向传播的梯度。其实这只是部分正确：Brody、Alon 和 Yahav 的一篇题为“On the Expressivit...
【NLP】Layer-Normalization
My123456abc的专栏
09-19 1148
最近深入batch normalization的研究，发现了一系列Normalization方法的富矿，深有收获。 从2015年的BN开始，2016年出了LN(layer normalization)和IN(Instance Normalization)，2018年也就是今年，Kaiming提出了GN(Group normalization)，成为了ECCV2018最佳论文提名。 论文标题：L...
【论文】LayerNorm
Aries_young的博客
09-08 1228
【论文】Ba J L, Kiros J R, Hinton G E. Layer normalization[J].（pdf） 我们在 BatchNorm 的分析中也指出 BatchNorm 存在两个问题，一是小批量采样太小会导致结果不稳定，二是对于 RNN 网络 BatchNorm 并不适合 于是，本文提出了 『层归一化』，一种独立于 batch_size 的算法，所以无论样本数多少都不会影响参与 LayerNorm 计算的数据 Layer normalization 设 HHH 是某一层中的隐藏结点.
【Transformer】Transformer的简单了解：Positional Encoding、Self-attention、Batch 与 Layer Norm 等
magic_ll的博客
01-08 1186
自从2017年Transformer模型被提出以来，它已经从论文最初的机器翻译领域，转向语音，图像，视频等等方面的应用。最近的Segment Anything论文提出，阅读论文其中大量的transformer的在图像方面的应用。所以这里还是加紧记录下transformer相关内容。 transformer初了解 Positional Encoding（位置编码） Self-attention（自注意力机制） Batch & Layer Norm（批量归一化/层标准化） transformer的结
Transformer 使用 LayerNorm 不用 BatchNorm的原因
暖树的博客
03-05 3366
首先， Norm最开始被提出的时候是为了解决ICS(internal covariate shift，内部协变量转移)问题，但后来的研究发现，Norm起作用的本质是它平滑了Loss,保证了梯度下降过程中的稳定。 Batch Normalization 1.1 背景 Batch Normalization（以下简称BN）的方法最早由Ioffe&Szegedy在2015年提出，主要用于解决在深度学习中产生的ICS（Internal Covariate Shift）的问题。若模型输入层..
关于Transformer中常遇到的问题解答
weixin_40920183的博客
11-05 2661
来源：知乎作者：红豆君中国科学院大学计算机硕士文章经过作者同意转载1. Transformer如何解决梯度消失问题的?残差 2. 为何Transformer中使用LN而不用BN?...
LayerNorm是Transformer的最优解吗？.rar
10-18
LayerNorm是Transformer的最优解吗？.rar
Transformer 相关论文
最新发布
04-19
一文详解视觉Transformer模型压缩和加速策略(量化/低秩近似/蒸馏/剪枝)
transformer论文笔记及思维导图
03-12
transformer论文笔记及思维导图，自留。推荐下列课程 【Transformer论文逐段精读【论文精读】】 https://www.bilibili.com/video/BV1pu411o7BE/?share_source=copy_web&vd_source=3028d9bd754f243aee4c850f06ac7fef ...
LLM基础之Transformer模型简介.pdf
06-19
本篇讲解试图从最浅显的角度来让大家了解大语言模型的基础模型，Transformer模型，不涉及到任何数学公式和神经网络的基础知识。适合对于初学者的科普。
BatchNorm和LayerNorm
qq_34467412的博客
03-17 1万+
一、BatchNorm 论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 从论文名字就可以看出，BatchNorm技术是用来加速网络训练的，手段就是通过“Reducing Internal Covariate Shift（减小内部协变量偏移）”，什么叫做...
NLP经典论文：Layer Normalization 笔记
sinat_39448069的博客
12-26 1894
NLP经典论文：Layer Normalization 笔记论文模型结构相关视频相关的笔记相关代码pytorchtensorflowkeraspytorch API:tensorflow API 论文 NLP论文笔记合集（持续更新） 原论文： 模型结构 相关视频 相关的笔记 相关代码 pytorch tensorflow keras pytorch API: tensorflow API ...
基于条件LayerNorm的多任务文本分类模型
SOHU_TECH的博客
08-05 353
本文字数：1616字预计阅读时间：10分钟作者介绍陈琢，哈尔滨工业大学（深圳）研二学生，获奖经历：2021年腾讯游戏安全技术竞赛（机器学习方向）top22021第一届“计图”人工智能算...
transformer使用LayerNorm
10-10
Transformer网络中的LayerNorm是一种归一化技术，用于规范每个特征的统计分布，使其具有相同的均值和方差。在Transformer中，对于每个子层（自注意力层或前馈神经网络层），都会在输入之后应用一个LayerNorm层，然后再将结果传递给下一个子层。 LayerNorm的公式如下： $$ \mathrm{LayerNorm}(x)=\gamma \odot \frac{x-\mu}{\sqrt{\sigma^{2}+\epsilon}}+\beta $$ 其中，$x$是输入向量，$\mu$和$\sigma$分别是其均值和标准差，$\gamma$和$\beta$是可学习的缩放因子和平移因子，$\epsilon$是为了数值稳定性而添加的小常数。 与其他归一化技术不同，LayerNorm不是对每个样本进行归一化，而是对每个特征进行归一化。这种方法可以提高模型的鲁棒性，并且适用于小批量训练。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值