【深度学习】Transformer之Masked Multi-Head Attention

已于 2024-02-04 16:41:25 修改
阅读量1.3k 收藏 7
点赞数 24
分类专栏： NLP【深度学习】 Transfomer 文章标签： transformer 深度学习 人工智能
于 2024-02-03 17:04:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50857066/article/details/136008132
版权
本文讨论了在深度学习模型中，如何避免使用未来信息以防止作弊，通过增量更新确保重复单词的预测一致性。文章介绍了逐步屏蔽输入信息的过程，并用具体例子说明这一技术的应用。
摘要由CSDN通过智能技术生成

一、作用

  • 信息泄露：如果在训练中使用未来位置的信息(例如，右侧的单词)，模型会作弊，因为在实际推理过程中我们无法提前知道未来的信息。
  • 增量更新：我们希望对于重复的单词，预测结果时一样的，并且每个预测结果只使用左侧的信息，不使用右侧的信息。

二、具体过程

在这里插入图片描述

  1. 先看 q 0 q_0 q0​, 屏蔽 x 1 , x 2 x_1, x_2 x1​,x2​的k。
    在这里插入图片描述
  2. 再看 q 1 q_1 q1​，屏蔽 x 2 x_2 x2​

在这里插入图片描述
3. 再看 q 2 q_2 q2​, 都不屏蔽。
在这里插入图片描述

三、简略过程

在这里插入图片描述
b 1 b_1 b1​由 a 1 a_1 a1​生成
b 2 b_2 b2​由 a 1 , a 2 a_1, a_2 a1​,a2​生成
b 3 b_3 b3​由 a 1 , a 2 , a 3 a_1, a_2, a_3 a1​,a2​,a3​生成
b 4 b_4 b4​由 a 1 , a 2 , a 3 , a 4 a_1, a_2, a_3, a_4 a1​,a2​,a3​,a4​生成

四、具体例子解释（这个解释有些问题，欢迎大家评论留言）

在这里插入图片描述
由 我 -> 爱，北京，天安门
由 我，爱 -> 北京，天安门
由 我，爱，北京 -> 天安门

不良人大帅
关注
  • 24
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Transformer（multi-head attention）
Wywxring98的博客
12-15 1358
文章目录RNN CNN ATTself-attention（K/Q/V）Multi-head Attention顺序问题seq2seq with attentionTransformerTransformer的应用参考文献 RNN CNN ATT RNN ，用来解决seq2seq问题，适用于长序列，问题为难以平行化处理。 CNN，可以通过不同filter（卷积核）进行平行化处理，但是每个token关注的只是附近的token，难以关心长句子全局关系。 ATT， 有非常霸气的文章attention is all
层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
zhaohongfei_358的博客
02-10 1万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
深入理解深度学习——注意力机制（Attention Mechanism）：带掩码的多头注意力（Masked Multi-head Attention）
冯·诺依曼
06-13 1万+
模型的注意力机制应该只与该词之前的单词有关，而不是其后的单词。我们知道，自注意力机制将一个单词与句子中的所有单词联系起来，从而提取每个词的更多信息。[3] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.下面，让我们看看带掩码的多头注意力层是如何工作的。现在，我们可以将Softmax函数应用于前面的矩阵，并将结果与值矩阵。》中，我们为了运行自注意力机制，我们需要创建三个新矩阵，即查询矩阵。个注意力矩阵，将它们串联起来，并将结果乘以新的权重矩阵。
如何理解transformer中mask多头注意力机制 -masked multi-head attention 详解
Viviane_2022的博客
10-27 1297
编码器以并行模式工作 - 它可以在恒定数量的步骤内生成输入序列("I love you")的向量表示（步骤的数量不取决于输入序列的长度）。在训练期间，我们知道I love you翻译成德语，应该是"Ich liebe dich"（在训练期间我们总是知道期望的输出，也就是监督学习）。假设编码器生成了向量表示为11、12、13（分别代表I love you，实际上，这些向量会更长，因为我们忽略了其它标记，如-序列的开始、-序列的结束等），但为简单起见，我们使用了短向量。当执行 #C 时，它会隐藏第3个输出。
MultiHead-Attention和Masked-Attention的机制和原理
zhaohongfei_358的博客
07-18 2万+
二. MultiHead Attention 2.1 MultiHead Attention理论讲解 2.2. Pytorch实现MultiHead Attention 三. Masked Attention 3.1 为什么要使用Mask掩码 3.2 如何进行mask掩码 3.3 为什么是负无穷而不是0
【Transformer】Transformer 网络解析（Self-Attention 、Multi-Head Attention、位置编码、Mask等）
Danger的博客
03-31 1789
【Transformer】Transformer 网络解析（Self-Attention 、Multi-Head Attention、位置编码、Mask等）
深度学习-Transformer实战系列课程
09-23
Transformer模型的核心思想是自注意力（Self-Attention）和多头注意力（Multi-Head Attention）。自注意力允许模型在处理序列数据时同时考虑所有位置的信息，而多头注意力则通过并行计算多个注意力分布，捕捉不同...
transformer-使用Pytorch实现Transformer-项目源码-附完整复现细节.zip
01-19
Transformer由多个相同的编码器（Encoder）和解码器（Decoder）层组成，每个编码器层包括多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Network），而解码器层则在此基础上添加了一个...
深度学习-Transformer实战系列
12-27
Transformer的核心概念包括自注意力（Self-Attention）和多头注意力（Multi-Head Attention）。自注意力允许模型在计算每个词的表示时考虑全局上下文信息，而多头注意力则通过并行处理多个不同的注意力分布，提高了...
LLM基础之Transformer模型简介.pdf
06-19
模型的Encoder由多个相同的层堆叠而成，每层包括多头自注意力（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Network）。自注意力层允许模型同时考虑所有单词，而多头机制则允许模型关注不同的信息子...
transformer的 encoder-decoder结构基于tensorflow实现的中文语音识别项目.zip
最新发布
03-27
Encoder部分由多个相同的层组成，每个层包括多头自注意力（Multi-Head Attention）和全连接的前馈神经网络（Feed-Forward Network）。多头自注意力允许模型同时关注输入序列的不同部分，增加了模型的表达能力。全...
多头注意力机制_1. 自注意力与Transformer
weixin_39732609的博客
12-06 4682
序言：话说天下大事，分久必合，合久必分。2019年10月26日于复旦文科图书馆。1.模型结构大多数神经序列转换模型(neural sequence transduction models)都使用encoder-decoder结构。encoder将输入序列的表征 映射到序列 .给定 ,decoder生成输出序列 ,每次生成一个元素。每次生成下个元素的时候，将前面生成的序列作为输入(即mask...
transformer学习笔记
bingo_csdn_的博客
11-14 1548
这里写自定义目录标题1、模型架构1.1 seq2seq结构1.2 注意力机制2、transformer各部分介绍2.1 encoder的输入欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 1、
学习笔记 | 多层感知机（MLP）、Transformer
LiRongLu_的博客
08-17 1万+
多层感知机（MLP）、Transformer、Memory Bank
自注意力(Self-Attention)与Multi-Head Attention机制详解
weixin_60737527的博客
10-21 1万+
self-attention，multi-head attention原理详解
2021-04-28学习笔记
weixin_43877989的博客
04-29 409
《Attention is all you need（1）》 （读了一部分，没全读） 基本内容 讲transformer架构，提出self-attention，结果很棒，细节很多 内容要点 （主要结合部分csdn博客，知乎文章来配合理解） 架构如上图，分为encoder层和decoder层，下面从输入开始分析每个部分： encoder层 1. 对于输入，word-embedding，可以用word2vec，glove算法等，把每个词（汉字的话字会好一点）映射到相同长度的向量。 2. 随
机器翻译Transformer框架分析笔记 | Attention is all you need
kudou1994的博客
08-10 2889
个人笔记使用，记录简短，如果有人看到了这篇文章，请直接拉到本文最后，看参考的那几篇文章，写的比较好，一看就懂。 〇、笔记中对Encoder-Decoder Attention理解有误 此注意力中的输入Q K V 其中K V应该是从编码器得到的输出乘以decoder子层随机初始化的W_K和W_V得到的 Q是上一步self-attention的输出乘以decoder子层随机初始化的W_Q得到的 注意：...
注意力机制学习：Multi-Head Attention
豆沙包子的博客
10-04 3622
多头注意力机制（Mutil-head Attention）：多头注意( Multihead Attention )是注意机制模块。 实现：通过一个注意力机制的多次并行运行，将独立的注意力输出串联起来，线性地转化为预期维度。直观看来，多个注意头允许对序列的不同部分进行注意力运算。 其中，都是可学习的参数矩阵。 注：缩放点积注意力（Scaled dot-product attention)在这个模块中很常用的，同时也可以将其换为其他类型的注意力机制。 import numpy...
图注意力网络(GAT) ICLR2018, Graph Attention Network论文详解
热门推荐
祥瑞的技术博客
04-21 10万+
背景：ICLR2018 论文，Graph Attention Network在GNN中非常重要，再之前图卷积网络GCN的基础之上引入了注意力机制，非常实用。 论文地址：https://arxiv.org/abs/1710.10903 代码地址： https://github.com/Diego999/pyGAT 相关论文详解： GCN (Graph Convolutional Networ...
transformer中解码器中的masked multi-head attention不加会怎样
05-23
如果在解码器中的masked multi-head attention中不进行mask操作，那么在当前时间步之前的所有位置都可以被当前时间步的注意力所获取，这就意味着当前时间步可以看到所有之前的信息，包括后续的信息。这会导致模型泄露未来信息，从而使模型在实际应用中表现不佳。 因此，在解码器中的masked multi-head attention中进行mask操作是必要的，它可以确保模型只能在当前时间步之前的位置进行注意力计算，避免了模型泄露未来信息的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值