NLP基础（七）：Transformer模型和Self Attention自注意力机制

最新推荐文章于 2024-09-20 13:23:46 发布
最新推荐文章于 2024-09-20 13:23:46 发布
阅读量3.5k 收藏 12
点赞数 1
分类专栏： NLP # NLP基础 文章标签： 人工智能 机器学习 算法 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lygeneral/article/details/107499435
版权
本文介绍了Transformer模型的结构，重点讲解了Self Attention自注意力机制的计算过程，包括多头注意力机制，以及Positional Encoding、FFN和Linear & SoftMax等其他关键组件。Transformer模型的优势在于并行计算和处理长距离依赖，但也存在无法有效利用时间序列信息等缺点。
摘要由CSDN通过智能技术生成

1.模型结构

Transformer模型分为左右两部分，和Seq2Seq模型的结构相似，由Encoder和Decoder构成。并且Encoder和Decoder由N=6个相同的layer组成，Nx表示这里是x6个。具体的模型结构如下图：

Transformer模型抽象化之后为下图，所有的编码器在结构上都是相同的，但它们没有共享参数。每个编码器都可以分解成自注意力（self-attention）和前馈（feed-forward）神经网络两个子层，解码器较编码器多了Encoder-Decoder Attention层。

编码器最终的输出键向量Key和值向量Value传输至解码器的每一层，Encoder-Decoder attention层自带Query矩阵。

2.Self Attention

计算自注意力的第一步就是从每个编码器的输入向量（每个单词的词向量）中生成三个向量。也就是说对于每个单词，我们分别创建一个64维的查询向量Query、键向量Key和值向量Value。这三个向量是通过词嵌入与三个权重矩阵后相乘创建的。
Self Attention
首先分别将 q 1 q_1 q1​和 k 1 ， k 2 ， . . . ， k n k_1，k_2，...，k_n k1​，k2​，...，k

最低0.47元/天 解锁文章
博途慧算
关注
专栏目录
LLM - 大语言模型的自注意力(Self-Attention)机制基础 概述
Mystra
03-11 2298
注意力(Attention)机制是大型语言模型中的一个重要组成部分，帮助模型决定在处理信息时，所应该关注的部分。在自然语言处理中，一个序列由一系列的元素组成。注意力机制通过为序列中的每个元素分配一个权重来工作，这个权重反映了每个元素对于任务的重要性。模型会更加关注权重高的元素。自注意力(Self-Attention)是一种特殊的注意力机制，不是将输入序列与输出序列关联起来，而是关注序列内部元素之间的关系。
Transformer中的自注意力
qq_34771726的博客
11-15 1829
Transformer中的自注意力 参考链接https://blog.csdn.net/u012526436/article/details/86295971 self-attention，其思想和attention类似，但是self-attention是Transformer用来将其他相关单词的“理解”转换成我们正在处理的单词的一种思路，我们看个例子： The animal didn’t c...
自注意力机制和transformer
qq_45889056的博客
03-03 768
计算attention score，然后通过Soft-max层归一化（其他激活函数也行）；下一步是进一步从attention score提取信息，得到考虑了所有上下文的向量：再来看看矩阵运算的过程：计算attention score的过程：总结：只有矩阵qkv需要从学习训练得到。
李宏毅self-attention自注意力机制笔记
最新发布
m0_60767918的博客
09-20 660
各位大佬，本人是小白中的白中白的菜中菜，才开始接触深度学习，为了督促自己学习总结，第一次尝试发博客，希望各位大佬可以多多提些建议，如果有哪里不对的地方，望各位大佬指正。
NLP学习—21.自注意力机制（Self-Attention）与Transformer详解
柳杰的博客
09-02 1万+
文章目录引言一、Structure of Transformers二、Encoder Structure三、Self-attention and multi-head self-attention1.Self-attention2.multi-head self-attention四、Residuals , Add and Layer-Normalization五、Decoder structure of Transformer六、Mask self-attention七、 Encoder-decoder
注意力机制（attention mechanism）与 Transformer
xw555666的博客
01-02 4230
灵长类动物的视觉系统接收了大量的感官输入，这些感官输入远远超出了大脑能够完全处理的能力。然而，并非所有刺激的影响都是同等的。意识的汇聚和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体，例如猎物和天敌。整个人类历史中，这种只将注意力引向感兴趣的一小部分信息的能力，使人类的大脑能够更明智地分配资源来生存、成长和社交，例如发现天敌、寻找食物和伴侣。自主性的与非自主性的注意力提示解释了人类的注意力的方式，下面来看看如何通过这两种注意力提示，用神经网络来设计注意力机制的框架和模型。
【自注意力机制必学】BERT类预训练语言模型（含Python实例）
Moresweet 猫甜
06-22 1万+
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练模型，它是自然语言处理（NLP）领域的重大里程碑，被认为是当前的State-of-the-Art模型之一。BERT的设计理念和结构基于Transformer模型，通过无监督学习方式进行训练，并且能够适配各种NLP任务。预训练模型是指在大规模文本数据上进行大量无监督训练，学习得到丰富的语言表示。
Transformer：Seq2Seq 模型 + 自注意力机制.zip
02-06
总结来说，Transformer模型通过自注意力机制和相关组件，提供了处理序列数据的新范式，极大地提升了深度学习在自然语言处理领域的性能，成为现代NLP研究和应用的基础。通过持续的研究和改进，Transformer将继续影响...
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5861
self-attention，transformer及变形
【Transformer】自注意力机制Self-Attention ｜ 各种网络归一化Normalization
RickieLim的博客
08-08 3854
Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。
使用自注意力模型进行语音识别
james2047的专栏
04-04 750
之前最开始使用声学模型为CNN+CTC，语言模型为transformer或者隐式马尔科夫链进行做，发现效果算是一般。由于transformer算法可以将前后关联起来，因此也可以用来进行做语音识别。最终训练过后，transformer在中文的测试集上能够达到5%左右的从字错误率，结果来看还是算可以的。 ...
【学习笔记】自注意力机制self-attention
1900的博客
10-27 5079
自注意力机制
ICLR 2022 | 基于对抗自注意力机制的预训练语言模型
Paper weekly
07-06 282
©作者 | 曾伟豪单位 | 北京邮电大学研究方向 | 对话摘要生成论文名称：Adversarial Self-Attention For Language Understanding论文来源：ICLR 2022论文链接：https://arxiv.org/pdf/2206.12608.pdfIntroduction本文提出了 Adversarial Self-Attent...
深度学习之seq2seq、编码器解码器、注意力机制、Transformer
data+scenario+science+insight
05-31 1015
深度学习之seq2seq、编码器解码器（Encoder-Decoder）、注意力机制（Attention）、变换器（Transformer） 目录 深度学习之seq2seq、编码器解码器（Encoder-Decoder）、注意力机制（Attention）、变换器（Transformer） seq2seq 编码器解码器（Encoder-Decoder） 注意力机制（Attention） 变换器（Transformer） seq2seq Seq2Seq全称Sequence to Sequence
Transformer模型结构分析：Encoder、Decoder以及注意力机制详解
AI天才研究院
08-02 1714
Transformer模型由论文[1]提出，其基本思想是使用注意力机制代替循环神经网络(RNN)或卷积神经网络(CNN)，是一种基于序列到序列(Seq2seq)的机器翻译、文本摘要、对话系统等任务的成功范例。Transformer模型使用全连接层代替RNN和CNN的门控结构，并用多头注意力机制进行了改进，能够在捕捉全局上下文信息的同时，还保持输入输出序列之间的独立性。本文将从原理上和代码实现两个角度出发，详细解析Transformer模型的编码器、解码器及注意力机制的设计原理和具体操作步骤。
深入理解深度学习——Transformer：解码器（Decoder）的多头注意力层（Multi-headAttention）
冯·诺依曼
06-14 1万+
来表示由带掩码的多头注意力层输出的注意力矩阵。多头注意力机制的第1步是创建查询矩阵、键矩阵和值矩阵。我们已知可以通过将输入矩阵乘以权重矩阵来创建查询矩阵、键矩阵和值矩阵。我们可以看到，每个解码器中的多头注意力层都有两个输入：一个来自带掩码的多头注意力层，另一个是编码器输出的特征值。[3] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.是通过分数加权的值向量之和计算的。将最终的注意力矩阵送入解码器的下一个子层，即前馈网络层。（前一个子层的注意力矩阵）。
自注意力嵌入（一）：Learning Fragment Self-Attention Embeddings for Image-Text Matching
qq2285580599的博客
01-11 731
Motivation 1，现有的策略在测试阶段需要对所有图像-文本对进行两两相似度的计算，且计算方法复杂，在实际应用场景中缺乏效率。(Stacked Cross Attention). 2，我们考虑学习嵌入图像和文本，这两种异构数据模式独立投影到联合空间。 Framework 对于Image Embedding的操作: 64 * 36 * 2048 -> 64 * 36 * 256 BertAttention: BertSelfAttention: 1,做一个自注意...
【深度学习】【NLP】NLP课件整理 第六章：Transformer架构，编码器，解码器，多头注意力机制，掩码张量，全部代码实现及分析
knocky的博客
04-24 907
文档：6.1 Transformer背景介绍.note Transformer的诞生 Transformer的优势 Transformer的市场 文档：6.2.1 认识Transformer架构.note 了解Transformer模型的作用. 了解Transformer总体架构图中各个组成部分的名称. 文档：6.2.2 输入部分实现.note 了解文本嵌入层和位置编码的作用. 掌握文本...
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
热门推荐
路人贾的博客
04-17 10万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值