如何理解transformer中mask多头注意力机制 -masked multi-head attention 详解

已于 2023-10-27 10:24:45 修改
阅读量2.8k 收藏 12
点赞数 5
文章标签： transformer 深度学习 人工智能
于 2023-10-27 10:24:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Viviane_2022/article/details/134070557
版权

1.masked multi-head attention用来干什么？作用是啥？

一句话，需要mask掩码来实现并行训练。

2. 那并行化有什么用?

可以用来加速模型的训练过程。

举个栗子。

假设我们要训练一个翻译模型，将英文"I love you"翻译成德文"Ich liebe dich"。编码器以并行模式工作 - 它可以在恒定数量的步骤内生成输入序列("I love you")的向量表示（步骤的数量不取决于输入序列的长度）。

假设编码器生成了向量表示为11、12、13（分别代表I love you，实际上，这些向量会更长，因为我们忽略了其它标记，如-序列的开始、-序列的结束等），但为简单起见，我们使用了短向量。

在训练期间，我们知道I love you翻译成德语，应该是"Ich liebe dich"（在训练期间我们总是知道期望的输出，也就是监督学习）。假设"Ich liebe dich"这些词的向量表示是21、22、23。

I     love   you

11、12、13

Ich liebe dich

21、22、23

如果我们使解码器的训练在顺序模式下进行，它将类似于循环神经网络的训练。将执行以下顺序步骤：

  1. 顺序操作 #1. 输入：11, 12, 13。尝试预测21。预测的输出不会完全是21，假设它是21.1。
  2. 顺序操作 #2. 输入：11, 12, 13，以及上一个输出21.1。尝试预测22。预测的输出不会完全是22，假设它是22.3。
  3. 顺序操作 #3. 输入：11, 12, 13，以及上一个输出22.3。尝试预测23。预测的输出不会完全是23，假设它是23.5。

这意味着我们需要进行3个操作（通常情况下，每个输入需要执行一个操作）。此外，每次迭代都会有累积误差。

此外，我们不使用注意力机制，因为我们只关注单个先前的输出。

由于我们实际上知道期望的输出（是21、22、23），所以我们可以调整这个过程，直接并行化操作输入。而不用等待前一步的输出。

并行操作 #A. 输入：11, 12, 13。尝试预测21。

并行操作 #B. 输入：11, 12, 13，以及21。尝试预测22。

并行操作 #C. 输入：11, 12, 13，以及21, 22。尝试预测23。

这个算法可以并行执行，而且不会累积误差。这个算法使用了注意力机制（即查看所有先前的输入），因此在进行预测时可以考虑上下文的更多信息。

这就是我们需要掩码的地方。训练算法知道整个期望的输出（21, 22, 23）。它为每个并行操作隐藏（掩码）已知输出序列的一部分。

当执行 #A 时，它会隐藏（掩码）整个输出。

当执行 #B 时，它会隐藏第2和第3个输出。

当执行 #C 时，它会隐藏第3个输出。

掩码本身是通过以下方式实现的（来自原始论文）：

我们通过在softmax的输入中屏蔽（设置为-∞）与非法连接对应的所有值来在缩放的点积注意力中实现这一点。

注意：在推理过程中（而不是训练中），解码器以顺序（而不是并行）模式工作，因为它最初不知道输出序列。但这与RNN方法不同，因为Transformer推理仍然使用自注意力并查看所有先前的输出（而不仅仅是最近的一个）。

注意2：对于非翻译应用，掩码可以有不同的用法。例如，对于语言建模，掩码可以用于隐藏输入句子中的某些单词，模型将在训练期间使用

德国Viviane
关注
MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
07-18 2万+
二. MultiHead Attention 2.1 MultiHead Attention理论讲解 2.2. Pytorch实现MultiHead Attention 三. Masked Attention 3.1 为什么要使用Mask掩码 3.2 如何进行mask掩码 3.3 为什么是负无穷而不是0
Transformer架构原理详解：多头注意力（MultiHead Attention）
AI大模型应用之禅
12-24 1331
Transformer, 多头注意力, Multi-Head Attention, 机器翻译, 自然语言处理, 深度学习 1. 背景介绍 近年来，深度学习在自然语言处理（NLP）领域取得了显著进展。传统的循环神经网络（RNN）在处理长序列数据时存在效率低下和梯度消失等问题。为了解决这
Transformer | 一文了解：缩放、批量、多头、掩码、交叉注意力机制（Attention）
最新发布
yinizhilianlove的博客
03-27 660
这篇文章填补了之前对Attention综述介绍，本文更加细节，利用纯Python和Numpy实现注意力模块，并解释了整个过程中的所有向量维度的变化，对刚入门的新手非常友好。
transformer架构解析{掩码，（自）注意力机制，多头（自）注意力机制}(含代码)-3
JamesSwifte的博客
03-04 2230
在之前的小节中我们学习了词嵌入层（词向量编码）以及加入了位置编码的输入层的概念和代码实现的学习。在本小节中我们将学习transformer中最重要的部分-注意力机制张量尺寸不定，里面只有(0，1)元素，代表位置被遮掩或者不遮掩，它的作用就是让另外一张张量中的一些数值被遮掩，被替换，表现形式是一个张量。在图中，我们可以看到，有一组Linear层进行线性变换，变换前后的维度不变，就当是一个方阵的张量，每个张量的值不同，那么变化后的结果也不同，特征就丰富起来了。
【深度学习】Transformer之Masked Multi-Head Attention
qq_50857066的博客
02-03 1804
对应着上面的a和b。
深入理解深度学习——注意力机制（Attention Mechanism）：带掩码的多头注意力（Masked Multi-head Attention）
冯·诺依曼
06-13 1万+
模型的注意力机制应该只与该词之前的单词有关，而不是其后的单词。我们知道，自注意力机制将一个单词与句子中的所有单词联系起来，从而提取每个词的更多信息。[3] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.下面，让我们看看带掩码的多头注意力层是如何工作的。现在，我们可以将Softmax函数应用于前面的矩阵，并将结果与值矩阵。》中，我们为了运行自注意力机制，我们需要创建三个新矩阵，即查询矩阵。个注意力矩阵，将它们串联起来，并将结果乘以新的权重矩阵。
Transformer入门（7）掩蔽多头注意力Masked multi-head attention是什么？
weixin_xxxxx的博客
12-11 1239
在Transformer模型中，Masked Multi-Head Attention是一种特殊类型的注意力机制，它在某些场景下用于防止模型在训练过程中看到未来的信息。这在序列处理任务中尤为重要，尤其是在机器翻译、文本摘要和生成式对话系统等序列到序列（Seq2Seq）模型中。
Transformer的前世今生 day07（Masked Self-Attention、Multi-Head Self-Attention）
丿罗小黑的博客
03-25 664
Masked Self-Attention 掩码自注意力 由于NLP中的生成模型，是一个一个的生成单词， 所以为了让自注意力也实现这个过程，就设计了掩码自注意力 掩码：在自注意力机制中，每个输入位置都会与其他位置进行注意力计算，并计算出一个加权和。而掩码的作用是将不相关或无效的位置的注意力权重设置为0，从而将模型的关注点限定在有效的位置上。如：将未来位置的注意力权重被设置为0，以防止模型在生成当前位置时依赖未来的信息，从而达到生成模型，一个一个生成单词的效果 如果只是自注意力机制，那么模型会知道这
【Transformer】Transformer 网络解析（Self-Attention 、Multi-Head Attention、位置编码、Mask等）
Danger的博客
03-31 2494
【Transformer】Transformer 网络解析（Self-Attention 、Multi-Head Attention、位置编码、Mask等）
Transformer详解(3)-多头自注意力机制
weixin_40566713的博客
05-24 370
【代码】Transformer详解(3)-多头自注意力机制。
学习Transformer：自注意力与多头自注意力的原理及实现
newxuyangcao
05-15 2万+
自从Transformer[3]模型在NLP领域问世后，基于Transformer的深度学习模型性能逐渐在NLP和CV领域(Vision Transformer)取得了令人惊叹的提升。本文的主要目的是介绍经典Transformer模型和Vision Transformer的技术细节及基本原理，以方便读者在CV领域了解和使用Vision Transformer。......
自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）
WANGYANG的博客
05-11 1327
在前面的章节中，详细讨论了循环神经网络（RNN）及其衍生模型，经过对RNN的不断改良，它们现在已经具备了长期记忆的能力，这无疑是语言模型领域的一项重大突破。然而，现在的多模态技术以及GPT的出现，绝大多数都选择了基于Transformer的架构，这是为何呢？本章节将围绕这个问题展开，将深入讲解自注意力机制，揭示这个如今在整个自然语言处理领域产生了深远影响的技术的精髓。这将为读者理解后续的BERT模型、GPT技术，以及多模态技术如CLIP等内容奠定坚实的基础。
Transformer大模型实战 带掩码的多头注意力层
AI天才研究院
06-19 971
Transformer大模型实战 带掩码的多头注意力层 1.背景介绍 在自然语言处理（NLP）领域，Transformer模型自从2017年由Vaswani等人提出以来，迅速成为了主流的架构。其核心组件——多头注意力机制（Multi-Head Attention）和带掩
Transformer多头自注意力及掩码机制详解
m0_64148253的博客
07-19 7256
在本文中我们重点介绍Transformer中的掩码机制及多头自注意力模块的原理以及代码实现。掩码机制是Transformer中非常重要的一个部分，在模型结构图中的三个地方有用到掩码机制，如下图所示。Transformer中的掩码分为两种，分别是填充mask和因果mask。在下图中，1和2所在为位置为填充mask,3所在的位置为因果mask。
对Transformer中的MASK理解
一步一脚印
11-14 4780
上一篇文章我们介绍了，今天我们来介绍一下对MASK的理解老规矩，还是先放一张Transformer的图片Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，而所谓的MASK在Encoder和Decoder两个结构中都有使用。Transformer中的MASK主要分为两部分：Padding Mask和Sequence Mask两部分。
Attention-mask 在transformer模型框架中的作用
li1784506的博客
11-19 7155
注意力机制的解释性博客比较多质量良莠不齐，推荐大家观看李宏毅老师关于注意力机制的讲解视频以及本人觉得对注意力机制讲解比较透彻的一篇博客[为更好解读注意力机制中attention-mask 的作用，现将注意力机制的原理进行总结。假设两个输入经过Wq、Wk、Wv矩阵（可训练）线性变换后获得q1=(1,2),q2=(0,1)，k1=(1,0),k2=(0,1)，v1=(1,0),v2=(0,1)向量。注意力机制核心就是向量q与向量k点乘后获得相似性分数（一个标量)。同理 q2也与所有的k向量点乘获得。
Transformer decoder中masked attention的理解
LZS12321LZS的博客
11-09 4728
前前后后看了挺久的Transformer，本以为自己理解了，可实现起来总觉得差点意思。 encoder比较简单，不多介绍。记录一下decoder的使用。 masked attention是要使用一个上三角矩阵torch.triu来实现对未来信息的掩盖。为什么就掩盖未来信息了？看了这篇博客，明白了但没完全明白，说是decoder在训练时用的groundtruth，防止误差累积，取得比较好的训练结果，但这样也没发现decoder的输入中有未来信息啊。 在实践中，发现在训练时，如果要实现这个任务，.
层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
02-10 2万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
Transformer的矩阵维度分析和Mask详解
热门推荐
我最怜君中宵舞的博客
09-29 3万+
文章目录Multi-Head attention中矩阵维度的变化Transfromer的训练过程Transformer的句子生成过程Maskmask矩阵对K进行mask对Q进行maskMasked Multi-Head Attention中的Mask mask时Transformer中很重要的一个概念，mask操作的目的有两个： 让padding(不够长补0)的部分不参与attention操作 ...
transformer时序模型详解
02-26
### Transformer 时间序列模型的工作原理 Transformer 模型最初是为了处理自然语言处理任务而设计的，但其强大的并行化能力和捕捉长期依赖关系的能力使其成为时间序列分析的理想工具。该模型的核心组件是自注意力机制（Self-Attention Mechanism），它允许模型关注输入序列的不同位置，从而更好地编码上下文信息。 #### 自注意力机制的作用 在时间序列建模中，自注意力机制能够帮助模型识别不同时间点之间的重要关联[^1]。例如，在金融市场的预测场景下，某些历史价格波动可能会对未来的价格走势产生重要影响；通过学习这些潜在的时间依赖性，Transformer 可以为更精确地做出预测提供支持。 #### 多头注意力机制的应用 为了进一步增强这种能力，Transformer 引入了多头注意力机制（Multi-head Attention）。这一改进让模型可以从多个角度同时观察同一组数据，进而发现更多样化的特征组合方式。这对于理解复杂的动态变化过程特别有用，比如电力消耗模式或是天气预报等问题领域内的非线性趋势。 #### 前馈神经网络层的功能 除了上述提到的关注力部分外，每个子层后面还连接着一个简单的前馈神经网络（Feed Forward Neural Network, FFNN）。FFNN 层负责对经过变换后的表示向量执行逐元素操作，并最终输出新的状态表示用于后续处理阶段。这样的结构有助于保持计算效率的同时提升表达能力。 ```python import torch.nn as nn class PositionwiseFeedForward(nn.Module): def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.dropout = nn.Dropout(dropout) def forward(self, x): return self.w_2(self.dropout(torch.relu(self.w_1(x)))) ``` #### 输入序列长度的影响 值得注意的是，由于采用了基于位置嵌入的位置编码方案来引入绝对或相对顺序信息，当面对极长的历史记录时，Transformer 的性能会受到一定限制。这是因为随着序列的增长，所需的内存开销也会显著增加，而且过长的距离可能导致梯度消失现象更加严重。因此，在实际应用过程中往往需要考虑截断策略或其他方法来进行有效的降维处理[^3]。 #### Sequence Mask 的作用 另外，在涉及因果关系的任务里——即当前时刻的结果只取决于过去而非未来的观测值——还需要利用到所谓的 sequence mask 技术。这项技术确保了解码器不会无意间访问到来自未来的信息，维持了合理的推理逻辑链条[^4]。 ```python def create_sequence_mask(seq_len): # 创建上三角矩阵作为mask mask = (torch.triu(torch.ones((seq_len, seq_len))) == 0).transpose(0, 1) return mask.float().masked_fill(mask == 0, float('-inf')).masked_fill(mask == 1, float(0.0)) ``` ### 应用案例 通过对以上各个组成部分的理解可以看出，Transformer 不仅适用于传统的NLP应用场景，同样也能很好地适应各种各样的时间序列数据分析需求。无论是股票市场行情监测还是工业设备健康状况评估等领域都能见到它的身影。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值