图解Transformer模型(Multi-Head Attention)

最新推荐文章于 2024-08-27 10:02:31 发布
最新推荐文章于 2024-08-27 10:02:31 发布
阅读量1.8w 收藏 86
点赞数 40
分类专栏： 自然语言处理 文章标签： Transformer Multi-Head Attention Scaled Dot Product Attention 文本分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/black_shuang/article/details/95384597
版权
本文深入解析Transformer模型中的Multi-Head Attention机制，包括Scaled Dot-Product Attention的工作原理，以及如何避免使用Recurrent model来捕获上下文信息。内容包括Transformer的背景、Encoder的构成，特别是Multi-Head Attention的实现方式，以及Decoder部分如何应用Attention。通过实例解释了每个部分的作用，并简要介绍了Transformer在生成式模型（如机器翻译）中的应用。
摘要由CSDN通过智能技术生成

本文内容主要源于Attention is all you need: https://arxiv.org/abs/1706.03762

由于本人最近在研究文本的判别式模型,如文本分类任务,所以学习了Transformer,并根据自己的理解制作了PPT介绍总结Transformer中几个比较重要的部分.

文章内容为本人制作的PPT，同时在需要解释的slide写上了补充说明;

主要内容包括

1.Transformer的提出背景;

2.Transformer的Encoder(Scaled Dot-Product Attention,Multi-head-Attention)较为详细的图解，部分图引自《Attention is all you need》一文;

3.虽然本人主要是应用于判别式模型，但是最后简单介绍了包含Decoder部分，梳理了Transformer的整个流程;

Slide 1

Slide 2

Slide 3

最低0.47元/天 解锁文章
black_shuang
关注
专栏目录
Transformer之multi-head
wangyifan123456zz的博客
02-29 561
当我们对“it”这个词进行编码时，一个注意力头主要关注“animal”，而另一个注意力头主要关注“tired”——从某种意义上说，模型对“it”这个词的表征融合了“动物”和“累”的一些表征。我意识到这是相当多的矩阵。既然我们已经触及了注意头，让我们回顾一下之前的例子，看看当我们在例句中对单词 “it” 进行编码时，不同的注意头集中在哪里。如果我们做同样的 self-attention 计算，只是8次不同的权重矩阵，我们最终会得到8个不同的Z矩阵。我们连接矩阵，然后将它们乘以一个附加的权重矩阵WO。
Transformer（multi-head attention）
Wywxring98的博客
12-15 1475
文章目录RNN CNN ATTself-attention（K/Q/V）Multi-head Attention顺序问题seq2seq with attentionTransformerTransformer的应用参考文献 RNN CNN ATT RNN ，用来解决seq2seq问题，适用于长序列，问题为难以平行化处理。 CNN，可以通过不同filter（卷积核）进行平行化处理，但是每个token关注的只是附近的token，难以关心长句子全局关系。 ATT， 有非常霸气的文章attention is all
Transformer模型-5-Multi-Head Attention
最新发布
2401_85378759的博客
08-27 595
所谓多头，是分别将线性的变换之后的QKV切分为H份，然后对每一份进行后续的self-attention操作。最后再连接并做线性回归产生输出。如下图：观察上图的多头注意力结构的中间的Scaled Dot-Product Attention(点积自注意力)，我们可以把拆为理解为高维向量被拆分为H分低维向量，并在H个低维空间里求解各自的self-Attention。多头注意力的理解代码层面: 把原始的维度切成H份，假如h=8(切成8份)，每份则为512/8=64。在每个64维做相关度(即相乘)计算。
注意力机制----Multi-Head Attention 和 transformer
weiwei935707936的博客
11-08 2010
multi-head attention： 单个attention输入后，对应有三个权重矩阵 multi-head输入后，如果有l个头，就有l×3个参数矩阵 multi-head输出的向量会串联起来，变长 不只是attention，self—attention也有多头 transformer的encoder： transformer的encoder的一层结构：multi—head attention+dense+全连接层 可...
Transformer多头注意力
hellozhxy的博客
06-09 1088
学习 Transformer 的过程中，找到了博客中关于Transformer系统的介绍文章，感觉非常棒，于是进行了翻译。原文链接在文末。翻译主要采用 “DeepL+人工”的方式进行，并加入了一些自己的理解。
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 13万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
2.2 Transformer相关原理-图解transformer
weixin_37734833的博客
08-18 2260
目录1. 前言2.从整体宏观来理解Transformer3. 从细节理解Transformer3.1 Transformer 的输入3.2 Encoder(编码器)3.3 Self-Attention 整体理解3.4 Self-Attention 的细节计算Query 向量，Key 向量，Value 向量(Q K V)计算 Attention Score（注意力分数）使用矩阵计算 Self-Attention多头注意力机制（multi-head attention）4. 代码实现矩阵计算 Attention
NLP-生成模型-2017-Transformer（一）：Encoder-Decoder模型【非序列化；并行计算】【O(n²·d)，n为序列长度，d为维度】【用正余弦函数进行“绝对位置函数式编码”】
u013250861的博客
12-18 2095
Transformer 概述 2018年10月，Google发出一篇论文[《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》](https://arxiv.org/pdf/1810.04805.pdf), BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩! 而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNET，roBERT等模型击败了BER
Transformer模型详解及代码实现
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
04-15 1111
本文详细解析了Transformer整体模型结构，并深入分析了各个layer层的原理及给出了计算公式，针对每个 layer、block 都给出了较为详细的代码实现方便深入理解网络结构。
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1442
Attention 和 Self-Attention 总结
Transformer中Multi-Head的理解
DataAlgo
05-26 1841
transformer中multi-head的理解
transformer-multihead 代码
qxdoit的博客
07-02 621
import tensorflow as tf import numpy as np ''' inputs 是一个形如(batch_size,seq_len,word_dim) 的向量 函数返回 一个形如(batch_size,seq_len,position_size) 的位置向量 ''' def Position_Embedding(inputs,position_siz...
Transformer模型-Multi-Head Attention多头注意力的简明介绍
Ankie资深技术项目经理
04-05 1531
今天介绍transformer模型的Multi-Head Attention多头注意力。通过之前文章，假定我们已经理解了attention；今天我们按顺序来梳理一下整合之后的顺序。
Transformer--Multi-headed机制
qq_37217876的博客
01-02 517
在Transformer中一组q，k，v可以得到一种当前词在句中的表达，那么多组就能得到多种表达，从而得到更为精确的词表达
Transformer模型
jiangjiane
02-23 409
转载 https://blog.csdn.net/qq_41664845/article/details/84969266
transformer模型中的self-attention和multi-head-attention机制
qq_38343151的博客
11-09 1万+
对于《Attention is all you need》这篇文章中提到的transformer模型，自己最初阅读的时候并不是很理解，于是决定从头开始，一点一点梳理transformer模型。这篇论文主要亮点在于： （1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。 （2）提出了多头注意力（Multi-headed...
Transfomer矩阵维度分析及MultiHead详解
muyuu的博客
03-21 3409
目录参数量各结构解析训练阶段Encoder Multihead Attention 解读Transformer就离不开下面这张图： 不同于之前的基于rnn的seq2seq模型，Transfomer完全摒弃了循环神经网络的结构： encoder层： {多头自注意力 + 前馈网络} ×n\times n×n decoder层： {掩蔽多头自注意力 + encoder-decoder多头自注意力 + 前馈网络} ×n\times n×n 下面我们介绍Transformer模型中的参数变化情况： 参数量 对于
Multi-Head Self-Attention与Multi-Head Attention
05-14
Multi-Head Self-Attention和Multi-Head Attention都是Transformer模型中的核心模块。 Multi-Head Self-Attention是指在一个句子中每个单词使用自注意力机制（Self-Attention）来计算其上下文表示。这个过程会将每个单词的原始表示分别映射成多个子空间，并在每个子空间中计算注意力权重，最后将这些子空间的注意力权重加权求和，得到每个单词的上下文表示。这种方式可以捕获单词之间的复杂依赖关系，并且具有可解释性。 Multi-Head Attention是指在一个句子的两个不同部分之间使用注意力机制（Attention）来计算它们之间的关系。这个过程也会将每个单词的原始表示分别映射成多个子空间，并在每个子空间中计算注意力权重，最后将这些子空间的注意力权重加权求和，得到不同部分之间的关系表示。这种方式可以捕获不同部分之间的语义关系，例如句子中的主语和谓语之间的关系。 总的来说，Multi-Head Self-Attention和Multi-Head Attention都是使用多个子空间来计算注意力权重，但是Multi-Head Self-Attention是单向的，只考虑一个句子中的单词之间的关系，而Multi-Head Attention是双向的，可以考虑两个不同的部分之间的关系。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值