从训练和预测的角度来理解Transformer中Masked Self-Attention的原理

已于 2022-07-19 11:23:58 修改
阅读量3.8k 收藏 28
点赞数 9
分类专栏： 大厂算法岗求职攻略 知识点理解 文章标签： transformer 自然语言处理 深度学习
于 2021-09-21 11:55:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43827595/article/details/120400168
版权
本文从训练和预测阶段详细介绍了Transformer中Masked Self-Attention的作用，解释了为何在训练时防止信息泄露，预测时确保增量更新和一致性，并通过实例验证其重要性。
摘要由CSDN通过智能技术生成

传送门：手把手教你用Pytorch代码实现Transformer模型（超详细的代码解读）

Transformer模型结构图

在Transformer中Decoder会先经过一个masked self-attention层
在这里插入图片描述

使用Masked Self-Attention层可以解决下文提到的训练阶段和预测阶段Decoder可能遇到的所有问题。

什么是Masked Self-attention层

你只需要记住：masked self-attention层就是下面的网络连线（如果实现这样的神经元连接，你只要记住一个sequence mask，让右侧的注意力系数 α i

了解本专栏 订阅专栏 解锁全文 超级会员免费看
捡起一束光
关注
专栏目录
订阅专栏
12 Masked Self-Attention（掩码自注意力机制）
沧海之巅的专栏
10-21 509
当我们做生成任务的时候，我们也想对生成的这个单词做注意力计算，但是，生成的句子是一个一个单词生成的。自注意力机制明确的知道这句话有多少个单词，并且一次性给足，而掩码是分批次给，最后一次才给足。为什么要做这个改进：生成模型，生成单词，一个一个生成的。未来我们讲 Transformer 的时候会详细讲！I have 第二次，只有 I 和 have。I 第一次注意力计算，只有 I。掩码自注意力机制应运而生。
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 GavinNLP星空对话机器人Transformer课程片段1：Transformer架构内部的等级化结构及其
段智华的博客
11-14 1701
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 GavinNLP星空对话机器人Transformer课程片段1：Transformer架构内部的等级化结构及其在NLP中的应用内幕 GavinNLP星空对话机器人Transformer课程片段1：Transformer架构内部的等级化结构及其在NLP中的应用内幕：该视频揭示了Transformer架构信息表达有效性的核心原因：Transformer网络的级化结构及其在NLP中的语法、语义等的信息表达能力，对Trans
图解自注意力机制
我是菜鸡
07-06 1万+
写在最前边这个文章是《图解GPT-2 | The Illustrated GPT-2 (Visualizing Transformer Language Models)》的一部分，因为篇幅太长我就单独拿出来了。当然如果你只想了解自注意力机制也可以看看本文章的前半部分，这篇文章属算是入门科普读物了，不需要太多知识铺垫。 后半部分主要是讲masked self-attention在GPT-2中的应用，不了解GPT-2的可以忽略这部分内容。我补充的内容格式如下：正文看一下下图，下图表示的是注意力处理输入序列的单词
自注意力机制（Self-Attention）
最新发布
lbr15660656263的博客
06-28 1467
Transformer模型中最关键部分就是自注意力（Self-Attention）机制，正如 Transformer 的论文的标题是“Attention Is All You Need”！以文本问题为例来讲解这个机制。在处理文本问题时，自注意力机制会告诉模型：在处理句子中的每个单词时，特别关注某些重要的单词，并或多或少地忽略其它单词。简单来说，就是给句子中不同单词分配不同的权重。
Transformer step by step--Masked Self-Attention
qq_51764183的博客
04-23 701
我们详细分析了 𝑀𝑢𝑙𝑡𝑖 𝑆𝑒𝑙𝑓 - 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛 ，但是其实看过论文的同学都会有一个问题——Transformer中的Decoder部分不是还有个掩码的操作吗，那是个什么玩意儿？图片来源于Attention is all you need论文今天这篇文章就是告诉大家：Decoder部分的掩码是个什么玩意儿怎么用简单的代码去实现这个掩码首先，我们先要有一个概念。
Transformer的前世今生 day07（Masked Self-Attention、Multi-Head Self-Attention）
丿罗小黑的博客
03-25 443
Masked Self-Attention 掩码自注意力 由于NLP中的生成模型，是一个一个的生成单词， 所以为了让自注意力也实现这个过程，就设计了掩码自注意力 掩码：在自注意力机制中，每个输入位置都会与其他位置进行注意力计算，并计算出一个加权和。而掩码的作用是将不相关或无效的位置的注意力权重设置为0，从而将模型的关注点限定在有效的位置上。如：将未来位置的注意力权重被设置为0，以防止模型在生成当前位置时依赖未来的信息，从而达到生成模型，一个一个生成单词的效果 如果只是自注意力机制，那么模型会知道这
transformer训练和预测的理解
qq_15821487的博客
08-17 3578
Decoder和Encoder的结构差不多，但是多了一个attention的sub-layer，这里先明确一下decoder的输入输出和解码过程： 输出：对应i位置的输出词的概率分布 输入：encoder的输出 & 对应i-1位置decoder的输出。所以中间的attention不是self-attention，它的K，V来自encoder，Q来自上一位置decoder的输出 解码：这里要注意一下，训练和预测是不一样的。在训练时，解码是一次全部decode出来，用上一步的ground truth来预
超平实版Pytorch Self-Attention: 参数详解(尤其是mask)(使用nn.MultiheadAttention)
热门推荐
狗狗狗大王的博客
06-17 4万+
目录Self-Attention的结构图forward输入中的query、key、valueforward的输出实例化一个nn.MultiheadAttention进行forward操作关于maskReference Self-Attention的结构图 本文侧重于Pytorch中对self-attention的具体实践，具体原理不作大量说明，self-attention的具体结构请参照下图。 (图中为输出第二项attention output的情况,k与q为key、query的缩写) 本文中将使用Pyt
Swin Transformer：解读Transformer的Masked Self-Attention
# 1. Transformer模型简介 ...我们将讨论Transformer中的自注意力机制（Self-Attention）、位置编码（Positional Encoding）等关键组件，以及Transformer编码器和解码器的工作原理。 ## 1.2 Transformer模型
Transformer中的Masked Self-Attention详解
在这一部分中，我们将介绍Transformer和Transformer中的Self-Attention机制。 ## 什么是Transformer Transformer是一种极为成功的深度学习模型，被用于处理自然语言处理任务，特别是机器翻译。相比于传统的循环...
Transformer模型中Masked Self-Attention的效果
其引入的Self-Attention机制极大地提升了模型对长距离依赖的建模能力，使得Transformer在翻译、文本生成等任务中表现出色，成为了目前NLP领域的主流模型之一。 ### 介绍Transformer模型的背景和重要性 Transformer...
Transformer decoder中masked attention的理解
LZS12321LZS的博客
11-09 4386
前前后后看了挺久的Transformer，本以为自己理解了，可实现起来总觉得差点意思。 encoder比较简单，不多介绍。记录一下decoder的使用。 masked attention是要使用一个上三角矩阵torch.triu来实现对未来信息的掩盖。为什么就掩盖未来信息了？看了这篇博客，明白了但没完全明白，说是decoder在训练时用的groundtruth，防止误差累积，取得比较好的训练结果，但这样也没发现decoder的输入中有未来信息啊。 在实践中，发现在训练时，如果要实现这个任务，.
科研训练第十八周——关于Attention的盘复
糕糕的博客
01-22 859
Attention;IAN
Seq2Seq + attention 模型原理、训练，以及编码过程
Chen_Meng_的博客
01-04 5682
目录 1. 简介 2. Seq2Seq 2.1 Encoder 2.2 Decoder 3. Seq2Seq with Attention 3.1 Decoder 4. Train 5. Decoding 5.1 理论 5.2 实例 6 总结 1. 简介 Seq2Seq的基本结构是encoder-decoder，这个模型的目标是生成一个完整的句子。这个模型曾经使得谷...
文章笔记|2019SIGIR-Hot Topic-Aware Retweet Prediction with Masked Self-attentive Model
liu951823274的博客
03-15 373
文章笔记|2019SIGIR-Hot Topic-Aware Retweet Prediction with Masked Self-attentive Model 原文链接：文章笔记|2019SIGIR-Hot Topic-Aware Retweet Prediction with Masked Self-attentive Model
粗读MST: Masked Self-Supervised Transformer for Visual Representation
qq_42578970的博客
03-10 567
本文的大致思路是结合知识蒸馏和对比学习，在对比学习时提出一种新的遮罩方法。 示意图中，学生模型的MLP输出会尽量接近教师的MLP输出，这一部分是知识蒸馏，没太多要说的。 而下面那个decoder则是还原图像。在ViT中，图像会被分块然后输入Transformer主体中，而学生模型内部Mask Strategy中，一部分图像块被遮罩了，即变为一块纯黑色图像了。以往的方法在选择要遮罩的图像块时是纯随机的。而在本文方法中，模型会根据教师的attention ...
Masked self-attention
09-17
Masked self-attention是Transformer模型中的一种注意力机制。在使用self-attention时，每个位置的输出都会受到来自所有位置的输入的影响。而在Masked self-attention中，我们引入了一个掩码（mask）来限制模型只能关注当前位置之前的输入，从而实现屏蔽（mask）未来的信息。这样做的目的是为了防止模型在生成序列数据时看到未来的信息，保证了模型的输出只依赖于当前位置之前的输入。 通过引入Masked self-attention，我们可以在生成序列的任务中更好地处理顺序关系。在自然语言处理中，一个常见的应用是在语言模型中使用Masked self-attention来预测缺失的单词或者生成下一个单词。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

捡起一束光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值