transformer中masked attention 取上三角矩阵的原因

最新推荐文章于 2025-03-29 11:41:23 发布
最新推荐文章于 2025-03-29 11:41:23 发布
阅读量1.5k 收藏 5
点赞数 3
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tan_JX/article/details/130269475
版权
self-attention机制允许模型在生成序列时互相使用信息，但在训练过程中，为了模拟真实的序列生成（例如翻译任务），需要使用masking来阻止模型看到未来的信息。在处理ILOVEYOU到我爱你的例子中，解码器的输入会掩码掉部分信息，如a2和a3不能连接到b1，这对应于矩阵中的上三角部分设为0，确保计算不会涉及这些被掩码的部分。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

self-attention未masked时，都能互相使用信息。在实际中，我们知道生成一个句子时，我们无法看到后面的信息。比如生成我爱你，当生成“爱”时只能用到“我”的信息，并不能用到“你”的信息。 但是在训练时，我们要给模型并行语料去学习，输入 I LOVE YOU 希望模型翻译成 我 爱 你，但同时又要模拟真实情况下的输入，那么我们给decoder输入相应的译文中，要掩码掉部分信息，使其让模型不可见这部分信息。如图masked后，a2、a3不可连接到b1。那么矩阵中黄色部分就得取值为0，使代码对这部分不可运算。这也是为什么在transformer中的masked阶段要生成一个上三角矩阵的原因。

MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
07-18 2万+
二. MultiHead Attention 2.1 MultiHead Attention理论讲解 2.2. Pytorch实现MultiHead Attention 三. Masked Attention 3.1 为什么要使用Mask掩码 3.2 如何进行mask掩码 3.3 为什么是负无穷而不是0
Transformer的前世今生 day07（Masked Self-Attention、Multi-Head Self-Attention）
丿罗小黑的博客
03-25 669
Masked Self-Attention 掩码自注意力 由于NLP中的生成模型，是一个一个的生成单词， 所以为了让自注意力也实现这个过程，就设计了掩码自注意力 掩码：在自注意力机制中，每个输入位置都会与其他位置进行注意力计算，并计算出一个加权和。而掩码的作用是将不相关或无效的位置的注意力权重设置为0，从而将模型的关注点限定在有效的位置上。如：将未来位置的注意力权重被设置为0，以防止模型在生成当前位置时依赖未来的信息，从而达到生成模型，一个一个生成单词的效果 如果只是自注意力机制，那么模型会知道这
Masked Attention 在 LLM 训练中的作用与原理
最新发布
Harry的博客
03-29 1074
这篇文章将帮助你理解 Masked Attention 的作用、实现方式，以及为什么它能确保当前 token 只依赖于过去的 token，而不会泄露未来的信息。如果没有 Masked Attention，模型在训练时可以“偷看”未来的 token，导致它学到的规律无法泛化到推理阶段，从而影响文本生成的效果。虽然 Q, K, V 都计算了，但 Masking 让未来 token 的注意力分数变为 0，确保计算出的 Attention 结果不包含未来信息。，模型会学习到“作弊”策略，直接利用未来信息进行预测。
Transformer decoder中masked attention的理解
LZS12321LZS的博客
11-09 4743
前前后后看了挺久的Transformer，本以为自己理解了，可实现起来总觉得差点意思。 encoder比较简单，不多介绍。记录一下decoder的使用。 masked attention是要使用一个上三角矩阵torch.triu来实现对未来信息的掩盖。为什么就掩盖未来信息了？看了这篇博客，明白了但没完全明白，说是decoder在训练时用的groundtruth，防止误差累积，取得比较好的训练结果，但这样也没发现decoder的输入中有未来信息啊。 在实践中，发现在训练时，如果要实现这个任务，.
Transformer 中的mask
咖乐部
02-18 1万+
transformer中的mask有两种作用：其一：去除掉各种padding在训练过程中的影响。 其二，将输入进行遮盖，避免decoder看到后面要预测的东西。 1.Encoder中的mask 的作用属于第一种 在encoder中，输入的是一batch的句子，为了进行batch训练，句子结尾进行了padding（P）。在输入encoder中训练的过程中，先进性多头自注意计算。在这个过程中 1）进行(q*K^T)/d_model^1/2. 2)然后要对得到的权重矩阵进行mask 3...
Transformer 解读之：用一个小故事轻松掌握 Decoder 端的 Masked Attention，为什么要使用 Mask，Transformer如何解码，何时停止解码过程。
qq_42902997的博客
10-14 2260
这个部分我想聊一聊 Decoder 端的 attention 与 Encoder 端的不同，以及为什么 Decoder 端一定要使用 Mask 机制还有就是 Decoder 端到底是如何实现解码过程的，他怎么知道解多少个之后停止呢？在进行下面的内容之前，我想再强调一遍：Transformer 中的 attention 的作用是。这些关系最终被编码到一个中，因此 attention 层的输出其实我们其实可以叫它也就是建立 token 与 token 之间关系的过程。
如何理解transformer中mask多头注意力机制 -masked multi-head attention 详解
Viviane_2022的博客
10-27 2881
编码器以并行模式工作 - 它可以在恒定数量的步骤内生成输入序列("I love you")的向量表示（步骤的数量不取决于输入序列的长度）。在训练期间，我们知道I love you翻译成德语，应该是"Ich liebe dich"（在训练期间我们总是知道期望的输出，也就是监督学习）。假设编码器生成了向量表示为11、12、13（分别代表I love you，实际上，这些向量会更长，因为我们忽略了其它标记，如-序列的开始、-序列的结束等），但为简单起见，我们使用了短向量。当执行 #C 时，它会隐藏第3个输出。
Transformer解码器终极指南：从Masked Attention到Cross-Attention的PyTorch逐行实现
携梦问道的博客
02-11 528
至此你已经掌握了Transformer解码器的核心原理与实现。无论是机器翻译、文本生成，还是对话系统，解码器都是生成任务的核心引擎。——赶紧修改代码参数，观察模型变化吧！如果遇到问题，欢迎在评论区留言讨论，我们一起解决！希望这篇解析能助你彻底理解Transformer解码器，期待看到你的实战成果！Transformer 解码器的核心任务是基于编码器的语义表示。，实现自回归生成并融合源序列信息。（如翻译结果、文本续写）。每层解码器包含以下模块（附。
Transformer
qq_43598193的博客
10-19 956
文章目录前言一、Transformer总体结构二、Encoder1.输入部分1.1 词嵌入1.2位置嵌入2.多头注意力机制2.1注意力机制介绍2.2注意力机制计算2.3 多头注意力机制3.残差连接和LayerNormalization3.1为什么使用残差连接？3.2LayerNormalization4.前馈层Feed Forward三、Decoder3.1输入部分3.2Masked Self-Attention3.3Encoder-Decoder Attention3.4Linear+Softmax四、M
Transformer模型：Decoder的self-attention mask实现
weixin_62472350的博客
07-14 1135
这是对Transformer模型Word Embedding、Postion Embedding、Encoder self-attention mask、intra-attention mask内容的续篇。
Transformer中的Masked Self-Attention详解
在这一部分中，我们将介绍Transformer和Transformer中的Self-Attention机制。 ## 什么是Transformer Transformer是一种极为成功的深度学习模型，被用于处理自然语言处理任务，特别是机器翻译。相比于传统的循环...
Transformer and Self-Attention(Pytorch实现)
aidanmo的博客
11-22 3260
文章目录1. Attention2. Self-Attention3. Multi-Head Attention4. Transformer4.1 Encoder4.2 Decoder5. Transformer6. 补充，masked_self_attentioncode by Tae Hwan Jung(Jeff Jung) @graykode, Derek Miller @dmmiller612 1. Attention Attention函数的本质可以描述为：将查询(query)和一组键值(key-
Attention-mask 在transformer模型框架中的作用
li1784506的博客
11-19 7282
注意力机制的解释性博客比较多质量良莠不齐，推荐大家观看李宏毅老师关于注意力机制的讲解视频以及本人觉得对注意力机制讲解比较透彻的一篇博客[为更好解读注意力机制中attention-mask 的作用，现将注意力机制的原理进行总结。假设两个输入经过Wq、Wk、Wv矩阵（可训练）线性变换后获得q1=(1,2),q2=(0,1)，k1=(1,0),k2=(0,1)，v1=(1,0),v2=(0,1)向量。注意力机制核心就是向量q与向量k点乘后获得相似性分数（一个标量)。同理 q2也与所有的k向量点乘获得。
Transformer 中 Mask 的那些事
AI研究院
06-11 1130
具体来说，最有效的修改是 N-gram mask 和相似的单词替换，这是对 mask 的语言模型任务的修改。令人惊讶的是，我们发现 40% 的遮蔽概率的输入序列可以优于 15% 的基线，通过对下游任务的微调来衡量可以发现，甚至遮蔽 80% 的字符也可以保留大部分性能。huggingface 中 data allcator 使用的是动态 mask，但不是复制数据，而是每一个 epoch 的 mask 策略都不同，这样就可以达到动态 mask 的效果了，从而使得每一个 epoch 的 mask 的情况都不同。
【深度学习】Transformer中的mask机制超详细讲解
Blog
06-13 3万+
Transformer中的mask机制超详细讲解 方法1 输出如下： 方法2 输出如下 decoder中的masked自注意力中的mask 方法1 输出如下 方法2 输出如下 decoder交叉注意力中的mask 方法1 输出如下 方法2 输出如下
Transformer的矩阵维度分析和Mask详解
热门推荐
我最怜君中宵舞的博客
09-29 3万+
文章目录Multi-Head attention中矩阵维度的变化Transfromer的训练过程Transformer的句子生成过程Maskmask矩阵对K进行mask对Q进行maskMasked Multi-Head Attention中的Mask mask时Transformer中很重要的一个概念，mask操作的目的有两个： 让padding(不够长补0)的部分不参与attention操作 ...
Transformer中mask机制理解
qq_52531938的博客
10-27 1823
阅读源代码后我们发现，首先，传入forward的参数中，slf_attn_mask对应传入的是trg_mask，dec_enc_attn_mask对应传入的是src_mask。src_mask是消除掉为了补齐长度而用来padding的元素对注意力的影响得到的mask（对应函数get_pad_mask)，而trg_mask除了此种掩码之外，还用到了一个消除掉暂时还未解码出的字的影响的掩码机制(对应函数get_subsequent_mask)。原理与之前类似，只不过不Q的序列长度会与K不同。
transformer里的attention mask产生的 单向双向效果和xlnet里的效果
_Hope_
07-03 5491
1，2，3，4是一句话的四个词，并打乱了顺序， 以xlnet为例， 图中， 上图和下图的区别是下图扣去邪线， 上图表示，1可以看到1，2可以看到2，3可以看到3，4可以看到4， 下图表示，1不能看到1，2不能看到2，3不能看到3，4不能看到4， 把这个mask矩阵左下角全部置0，则是单向transformer， 把整个mask矩阵全部置1，则是双向transformer， 回到上图， 矩阵第一行...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值