transformer中masked attention 取上三角矩阵的原因

最新推荐文章于 2023-10-27 10:24:16 发布
最新推荐文章于 2023-10-27 10:24:16 发布
阅读量722 收藏 3
点赞数 1
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tan_JX/article/details/130269475
版权

self-attention未masked时，都能互相使用信息。在实际中，我们知道生成一个句子时，我们无法看到后面的信息。比如生成我爱你，当生成“爱”时只能用到“我”的信息，并不能用到“你”的信息。 但是在训练时，我们要给模型并行语料去学习，输入 I LOVE YOU 希望模型翻译成 我 爱 你，但同时又要模拟真实情况下的输入，那么我们给decoder输入相应的译文中，要掩码掉部分信息，使其让模型不可见这部分信息。如图masked后，a2、a3不可连接到b1。那么矩阵中黄色部分就得取值为0，使代码对这部分不可运算。这也是为什么在transformer中的masked阶段要生成一个上三角矩阵的原因。

只求毕业的程序媛
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
从训练和预测的角度来理解Transformer中Masked Self-Attention的原理
捡起一束光的博客
09-21 3732
1.训练阶段避免模型用到未来的信息，造成训练作弊 2. 预测阶段要保持重复的单词预测结果是一样的，这样不仅合理，而且可以增量更新 3.预测与训练时的模型架构保持一致，前向传播的方式是一致的...
transformer里的attention mask产生的 单向双向效果和xlnet里的效果
Talk Is Cheap
07-03 5184
1，2，3，4是一句话的四个词，并打乱了顺序， 以xlnet为例， 图中， 上图和下图的区别是下图扣去邪线， 上图表示，1可以看到1，2可以看到2，3可以看到3，4可以看到4， 下图表示，1不能看到1，2不能看到2，3不能看到3，4不能看到4， 把这个mask矩阵左下角全部置0，则是单向transformer， 把整个mask矩阵全部置1，则是双向transformer， 回到上图， 矩阵第一行...
Transformer decoder中masked attention的理解
LZS12321LZS的博客
11-09 4095
前前后后看了挺久的Transformer，本以为自己理解了，可实现起来总觉得差点意思。 encoder比较简单，不多介绍。记录一下decoder的使用。 masked attention是要使用一个上三角矩阵torch.triu来实现对未来信息的掩盖。为什么就掩盖未来信息了？看了这篇博客，明白了但没完全明白，说是decoder在训练时用的groundtruth，防止误差累积，取得比较好的训练结果，但这样也没发现decoder的输入中有未来信息啊。 在实践中，发现在训练时，如果要实现这个任务，.
Transformer 中 Mask 的那些事
AI研究院
06-11 879
具体来说，最有效的修改是 N-gram mask 和相似的单词替换，这是对 mask 的语言模型任务的修改。令人惊讶的是，我们发现 40% 的遮蔽概率的输入序列可以优于 15% 的基线，通过对下游任务的微调来衡量可以发现，甚至遮蔽 80% 的字符也可以保留大部分性能。huggingface 中 data allcator 使用的是动态 mask，但不是复制数据，而是每一个 epoch 的 mask 策略都不同，这样就可以达到动态 mask 的效果了，从而使得每一个 epoch 的 mask 的情况都不同。
【深度学习】Transformer中的mask机制超详细讲解
Blog
06-13 1万+
Transformer中的mask机制超详细讲解 方法1 输出如下： 方法2 输出如下 decoder中的masked自注意力中的mask 方法1 输出如下 方法2 输出如下 decoder交叉注意力中的mask 方法1 输出如下 方法2 输出如下
Transformer 解读之：用一个小故事轻松掌握 Decoder 端的 Masked Attention，为什么要使用 Mask，Transformer如何解码，何时停止解码过程。
qq_42902997的博客
10-14 1880
这个部分我想聊一聊 Decoder 端的 attention 与 Encoder 端的不同，以及为什么 Decoder 端一定要使用 Mask 机制还有就是 Decoder 端到底是如何实现解码过程的，他怎么知道解多少个之后停止呢？在进行下面的内容之前，我想再强调一遍：Transformer 中的 attention 的作用是。这些关系最终被编码到一个中，因此 attention 层的输出其实我们其实可以叫它也就是建立 token 与 token 之间关系的过程。
nlp中的Attention注意力机制+Transformer详解
01-27
根据通用近似定理，前馈网络和循环网络都有很强的...但是，如循环神经网络中的长距离以来问题，信息“记忆”能力并不高。 可以借助人脑处理信息过载的方式，例如Attention机制可以提高神经网络处理信息的能力。当用神
Transformer Model: Attention without RNN
10-15
深入浅出理解Attention机制 深入浅出理解Transformer原理 Transformer Model Attention for Seq2Seq Model Attention without RNN Self-Attention without RNN
From Attention to Transformer.pptx
04-11
From Attention to Transformer.pptx
详解Self-attention与Transformer1
08-03
Self-attention机制是Transformer模型的核心组成部分，Transformer是由Google在2017年提出的，主要用于解决自然语言处理（NLP）中的序列建模问题。它的主要创新在于使用自注意力层代替了传统的循环神经网络（RNN）和...
如何理解transformer中mask多头注意力机制 -masked multi-head attention 详解
最新发布
Viviane_2022的博客
10-27 1127
编码器以并行模式工作 - 它可以在恒定数量的步骤内生成输入序列("I love you")的向量表示（步骤的数量不取决于输入序列的长度）。在训练期间，我们知道I love you翻译成德语，应该是"Ich liebe dich"（在训练期间我们总是知道期望的输出，也就是监督学习）。假设编码器生成了向量表示为11、12、13（分别代表I love you，实际上，这些向量会更长，因为我们忽略了其它标记，如-序列的开始、-序列的结束等），但为简单起见，我们使用了短向量。当执行 #C 时，它会隐藏第3个输出。
Transformer
weixin_45678627的博客
04-22 1518
Transformer的整体架构为 图1 大框架分为了Encoder和Decoder，其中最为特殊的结构就是Multi-Head Attention，就是多头注意力机制。现在先讲注意力机制（self-attention）： self-attention 这个结构是处理序列信息，RNN处理序列是需要处理前面的信息得到特征，然后根据前面的特征再得到后面信息的特征，所以是有先后关系的，如果我们要得到t时刻的特征，就要计算前t-1时刻的特征。而self-attention不需要，它最关键的优点是可以同时得到这个序列
Transformer 两种mask简介
weixin_48185819的博客
07-21 6758
Mask 有两种，Padding-mask，用于处理不定长输入 另一种是 seqence-mask，为了防止未来信息不被泄露 padding mask - 处理输入不定长 在 NLP 中，一个常见的问题是输入序列长度不等，一般来说我们会对一个 batch 内的句子进行 PAD，通常值为 0。 sequence mask - 防止未来信息泄露 在语言模型中，常常需要从上一个词预测下一个词，sequence mask 是为了使得 decoder 不能看见未来的信息。也就是对于一个序列，在 ..
Transformer 中self-attention以及mask操作的原理以及代码解析
热门推荐
yeziyezi210的博客
01-08 3万+
笔者最近在梳理自然语言与训练模型的有关内容。在看到Bert的时候，突然发现Bert之后的预训练模型都与Transformer结构有关。该结构的一个为人所知的重点是self-attention，但是其另外一个重点mask操作却被人了解的很少，笔者借鉴了其他博主的优质内容，加上自己的理解整理了一下，希望从原理以及代码的角度来学习一下这两个知识点。 ** self-attention ** Self-a...
Transformer模型讲解
qq_45301231的博客
05-20 2359
Transrofmer模型讲解 接下来我将介绍《Attention is all you need》这篇论文。这篇论文是google机器翻译团队在2017年6月放在arXiv上，最后发表在2017年nips上，到目前为止google学术显示引用量为2203，可见也是受到了大家广泛关注和应用。这篇论文主要亮点在于 1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。 2）提出了多头注意力（Multi-headed attention）
Mask2Former来了！用于通用图像分割的 Masked-attention Mask Transformer
qq_44089890的博客
04-29 7241
IoU可以表示为预测分割区域与真实分割区域的交集除以它们的并集：IoU = TP / (TP + FP + FN)，其中TP表示真正例（预测为正例且真实为正例的像素数），FP表示假正例（预测为正例但真实为负例的像素数），FN表示假反例（预测为负例但真实为正例的像素数）。在这个过程中，注意力模块可以帮助模型在不同尺度的特征之间学习相关性，并将不同尺度的特征进行融合，以提高分割的准确性。因此，需要将输入图像划分为多个小的区域，例如ViT中的patch，Swin Transformer中的window等。
史上最详细Transformer讲解以及transformer实现中文版完形填空（掩蔽字训练MASK） 内容详细易懂且附有全部代码
m0_63669388的博客
06-28 3343
（看了就会受益匪浅，学transformer看这一篇足够）本篇十分详细的介绍了Transformer的Encoder和Decoder部分，不仅讲解了原理，给出了公式，而且后面附有一个基于Transformer实现的中文版完形填空的全部代码，以便于实践。
Muse：采用mask transformer的图像生成模型
zephyr_wang的博客
06-09 1131
本文根据google research 团队2023年1月的《Muse: Text-To-Image Generation via Masked Generative Transformers 》翻译总结的。图像生成有GAN、扩散（diffusion）、自回归模型等，而Muse采用mask图像的建模方法，非扩散、非自回归。给定从预训练大预言模型（LLM）中提取的文本embedding，Muse是被训练来预测随机mask的图像token。
transformer中的attention
05-10
Transformer中的attention机制是指在计算每个输出单元时，将输入序列中所有单元的信息都考虑进去。具体来说，对于每个输出单元，都会计算一组权重，用于指示输入序列中哪些单元对该输出单元的贡献更大。这组权重的计算使用了softmax函数，可以使得所有权重的和为1。在计算每个输出单元时，会将所有输入单元的信息按照这组权重进行加权求和，以得到该输出单元的表示。 在Transformer中，attention机制被应用于编码器和解码器之间的交互。编码器的每个输出单元都会与解码器的每个输入单元进行attention计算，从而得到一个加权和，表示编码器的信息对当前解码器输入的影响。这种attention机制可以帮助解码器更好地理解输入序列，从而提高翻译等任务的效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值