self-attention计算过程

最新推荐文章于 2024-07-15 14:42:37 发布
最新推荐文章于 2024-07-15 14:42:37 发布
阅读量4.7k 收藏 7
点赞数 2
分类专栏： 模型与方法 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37262929/article/details/107810244
版权

概念

self-attention从字面上看，就是自己对自己的注意力。

了解过注意力机制的都知道Q，K，V，在self-attention中，Q，K，V是相同的字嵌入X乘以训练得到的权重得到的。
在这里插入图片描述
它也符合注意力机制的计算过程，主要分为以下三部分计算

阶段一

对输入的单词进行词嵌入得到X，X分别与权重计算得到了Q（查询向量）,K（键向量）,V（值向量）

得到Q，K，V之后，再计算得分，假设我们在为这个例子中的第一个词“Thinking”计算自注意力向量，我们需要拿输入句子中的每个单词对“Thinking”打分。这些分数决定了在编码单词“Thinking”的过程中有多重视句子的其它部分。
阶段一

阶段二

除以8（8是指论文中使用的键向量维数64的平方根，作用是让梯度更加稳定）。

然后通过softmax进行归一化，得到的数都是正数且和为1
归一化
这里的softmax分数决定了每个单词对编码当下位置（‘thinking’）的贡献。

阶段三

softmax求得分数乘以值向量，作用是，关注与Q相关的单词，而弱化不相关的单词。

然后进行加权求和。
阶段三

通过矩阵运算实现注意力机制

X是词嵌入矩阵，W是权重矩阵（训练得到），
在这里插入图片描述

处理矩阵，计算注意力的输出
在这里插入图片描述

经十东路31699号
关注
专栏目录
自注意力机制(Self-Attention)
07-18
### 自注意力机制（Self-Attention）详解 #### 一、自注意力机制简介 自注意力机制(Self-Attention)是一种在自然语言处理（NLP）领域中非常重要的技术，它首次被提出是在2017年的论文《Attention Is All You Need...
图解自注意力机制-通俗易通篇
sophicchen的专栏
08-10 9345
BERT、RoBERTa、ALBERT、SpanBERT、DistilBERT、SesameBERT、SemBERT、MobileBERT、TinyBERT和CamemBERT的共同点是什么？答案并不是“ BERT”????。 而是“自注意力”????。我们不仅在讨论承载“ BERT”的架构，更准确地说是基于 Transformer 的架构。基于 Transformer 的架构主要用于对语言理解任务进行建模，避免使用神经网络中的递归，而是完全信任自注意力在输入和输出之间绘制全局依赖性的机制。但是，这背后的
self-attention机制中Q、K和V的计算
weixin_43226285的博客
02-22 997
在self-attention机制中的Q（查询）、K（键）、V（值）
Self-Attention 自注意力机制（一）——Attention 注意力机制
最新发布
qiaoxinyu1989的博客
07-15 909
Attention（注意力）机制如果浅层的理解，跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。图1可帮助大家较好地去理解注意力机制。Attention map展示了人类在看到一幅图像时，如何高效分配有限注意力资源。
Transformer的Q、K、V和Mutil-Head Self-Attention（超详细解读）
weixin_45303602的博客
11-02 1万+
举个例子我们在某宝上搜索东西，输入的搜索关键词就是Q，商品对应的描述就是K，Q与K匹配成功后搜索出来的商品就是V。Q、K、V经过Linear然后经过h个Self-Attention，得到h个输出，其中h指的是注意力的头数。更多的头数意味着更强大的模型能力，比如LLM大模型Baichuan-13B中的head数目是40，而Baichuan-7B中的head数目是32。是三个可训练的参数矩阵，输入矩阵X分别与三个矩阵参数进行相乘，相当于进行一次线性变换，得到了Q、K、V。，那Q、K、V是怎么来的呢？
Self-Attention结构细节及计算过程
weixin_54039182的博客
05-06 1605
详细描述了自注意力的细节以及计算过程。
图解自注意力机制
我是菜鸡
07-06 1万+
写在最前边这个文章是《图解GPT-2 | The Illustrated GPT-2 (Visualizing Transformer Language Models)》的一部分，因为篇幅太长我就单独拿出来了。当然如果你只想了解自注意力机制也可以看看本文章的前半部分，这篇文章属算是入门科普读物了，不需要太多知识铺垫。 后半部分主要是讲masked self-attention在GPT-2中的应用，不了解GPT-2的可以忽略这部分内容。我补充的内容格式如下：正文看一下下图，下图表示的是注意力处理输入序列的单词
详解Self-attention与Transformer1
08-03
在Self-attention中，对于输入序列的每个位置的向量，它首先计算该位置与序列中所有其他位置的向量之间的相关性。这个过程可以分为三个主要步骤： 1. **Query、Key和Value的计算**： - Query：使用一个权重矩阵Wq...
毕业设计：基于Self-Attention的汉语语义角色标注.zip
09-29
编码层用于将输入的词语转换为向量表示，Self-Attention层则通过计算不同位置词语之间的注意力权重，捕捉全局信息，最后解码层负责生成语义角色标注结果。 在训练过程中，模型通常使用交叉熵损失函数，通过反向传播...
武大本科毕业设计：基于Self-Attention的汉语语义角色标注.zip
10-05
Self-Attention允许模型并行处理输入序列，提高了计算效率，并在诸多NLP任务中展现出卓越性能。 4. Self-Attention在SRL中的应用： 在本研究中，Self-Attention被引入到汉语语义角色标注的模型中，利用其对输入...
分别基于深度学习GMM算法和self-attention算法实现的人说话声纹识别python源码+项目说明.zip
12-15
分别基于深度学习GMM算法和self-attention算法实现的人说话声纹识别python源码+项目说明.zip 基于GMM的声纹识别 ### 1.1 测试环境： - 操作系统：Windows10 - 代码环境：Python3.6 - 主要用到的开源库：sklearn、...
Self-Attention机制的计算详解
qq_41915623的博客
06-07 1万+
​ 个人理解，就是对参数进行“加权求和”。​ 其中，XXX表示输入的数据，Q,K,VQ,K,VQ,K,V对应内容如图，其值都是通过XXX和超参（先初始化，后通过训练优化）进行矩阵运算得来的。​ 结合代码进行理解：Step1： 初始化WQ,WK,WVW^Q , W^K,W^VWQ,WK,WV矩阵 ​ 假设三种操作的输入都是同等维度的矩阵，这里每个特征维度都是768.即三者的维度： WQ.shape=[768,768]WK.shape=[768,768]WV.shape=[768,768] W^Q.sh
自注意力（Self-Attention）
dx1313113的博客
01-22 1万+
循环神经网络由于信息传递的容量以及梯度消失问题，实际上也只能建立短距离依赖关系。为了建立长距离的依赖关系，可以增加网络的层数或者使用全连接网络。但是全连接网络无法处理变长的输入序列，另外，不同的输入长度，其连接权重的大小也是不同的。这时，提出了自注意力模型，可以“动态”地生成不同连接的权重。自注意力模型的结构：输入n个，输出也是n个，但是会考虑整个sequence（有context）自注意力机制实际上是注意力机制。
学习Transformer：自注意力与多头自注意力的原理及实现
热门推荐
newxuyangcao
05-15 1万+
自从Transformer[3]模型在NLP领域问世后，基于Transformer的深度学习模型性能逐渐在NLP和CV领域(Vision Transformer)取得了令人惊叹的提升。本文的主要目的是介绍经典Transformer模型和Vision Transformer的技术细节及基本原理，以方便读者在CV领域了解和使用Vision Transformer。......
Self-Attention计算详解
laolu1573的专栏
03-06 3547
第一步 准备输入向量（本例子里是每个单词的embedding），对每个单词创建Query向量、Key向量、Value向量。这些向量是单词embedding和三个转换矩阵(W_Q、W_K、W_V)相乘得到，这三个矩阵是在训练中学习得到的。 注意到这些新向量的维度比输入词向量的维度要小（512–>64），并不是必须要小的，这种结构是为了让multiheaded attention的计算更稳定。 第二步 self-attention计算的第二个步骤是一个计算分值。这里我们计算 “Thinking Matc
深度学习算法--Attention（注意力机制）
Western_europe
11-11 9533
最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。本文以机器翻译为例，深入浅出地介绍了深度学习中注意力机制的原理及关键计算机制，同时也抽象出其本质思想，并介绍了注意力模型在图像及语音等领域的典型应用场景。 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理
Attention为什么要除以根号d
qq_50988647的博客
06-09 1613
我们知道，attention结构中注意力得分的计算公式为，其中分别表示及其维度，那么为什么在计算score的时候要除以呢？这个问题比较考验各位同学的数学功底，我将从自己理解的角度进行分析，欢迎大家评论指正。
探索BERT的魔力：二元文本分类实践指南
gitblog_00058的博客
06-06 361
探索BERT的魔力：二元文本分类实践指南 BERT_binary_text_classificationAccompanying code for the Medium article项目地址:https://gitcode.com/gh_mirrors/be/BERT_binary_text_classification 在深度学习与自然语言处理的前沿阵地，一个名字响亮且功能强大的工具脱颖而出...
李宏毅机器学习笔记：自注意力机制
chairon的博客
03-15 1334
自注意力机制 1. self-attention 关注输入数据的全局信息 没有考虑位置信息 计算量是序列长度的平方 每个输入ai乘以不同的矩阵，得到向量q、k、v，q表示查询向量，用q乘以所有输入的k向量得到的值再进行sigmoid归一化，作为输入a的权重和输入a的v向量进行点乘，加起来就得到了a对应的输出：bi 把全部输入看成一个向量I,分别乘以WqW^qWq,WkW^kWk,WvW^vWv(模型学习出来的参数)，得到Q、K、V K的转置乘以Q得到Attention的分数A，再对每一列进行归一化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值