【VI Transformer】Self-attention中QKV的含义-学习记录

最新推荐文章于 2024-08-07 10:28:42 发布
最新推荐文章于 2024-08-07 10:28:42 发布
阅读量440 收藏 6
点赞数 6
文章标签： transformer 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47776643/article/details/136852187
版权

这是一个Self-Attention的公式，在查阅视频和文章之后，得到一些总结方便自己查看。

来自:http://【在线激情讲解transformer&Attention注意力机制（上）】 https://www.bilibili.com/video/BV1y44y1e7FW/?share_source=copy_web&vd_source=2ddee0d0a90d5f492e8f6db01a2d7569

套用视频中的截图。

(1)X是向量，W是通过学习到的矩阵，W和X相乘则代表线性相乘，提升拟合能力。
(2)套用视频中的例子，Q代表渣男的择偶要求，K代表自身条件，V代表被匹配到的备胎，每一个人都有自己的一套QKV。

(3)Q和K的转置相乘即为Q的行 与 K的矩阵的每一行进行点乘。 点乘的意义在于:

A\cdot B = \left | A \right |\cdot \left | B \right | \cos \Theta ，如A，B的角度为90度，则A,B没有相似性，角度越小，相似度越高。

因此Q 与 K的转置相乘 就是在计算Q的每一行与 K的每一行的相似度，就是渣男在与每一个备胎进行匹配，看看自己的关注度最应该放在谁身上。

(4)经过softmax之后即得到一个和为1的权重矩阵，接下来再与V(每一个值)进行加权，就可以得到最后的注意力分数。

每日一道力扣
关注
  • 6
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
transformer attention注意力理解 QKV含义深度探索
2401_82660697的博客
01-17 908
此处为b站学习视频记录现在给出一个人的腰围为57， 想要预测他的体重，自然的，因为体重57在56和58之间，所以我们推断其体重在43～48之间但是我们还需要定量计算体重预测值，怎么办呢？我们可以根据57和56，57和58的相似程度来给56对应的体重43和58对应的体重48赋予权重，再求和得到预测值。由于57到56、58的距离一样，所以一种方法是取它们对应的体重的平均值。因为57距离56、58最近，我们自然会非常“注意”他们，所以我们分给他们的注意力权重各为0.5。
self-attention-cv:专注于计算机视觉的各种自我关注机制的实现。 进行中的资料库
03-05
通过pip安装$ pip install self-attention-cv 如果您没有GPU，最好在您的环境中预安装pytorch。相关文章程式码范例多头注意力import torchfrom self_attention_cv import MultiHeadSelfAttentionmodel = ...
详解Self-attention与Transformer1
08-03
基本layer对于输入序列的某个位置的 vector（如下图中的），Self-attention layer 首先计算它与其它其他位置的 vector 之间的相
self-attention中的QKV机制
wrk226的博客
10-31 1万+
之前有写过attention和transformer的理解，但是对于self attention中的qkv一直理解的不够透彻，直到今天看了李宏毅的视频才理解，所以记录一下。 所谓QKV也就是Q(Query)，K(Key)，V(Value) 首先回顾一下self-attention做的是什么： 所谓自注意力，也就是说我们有一个序列X，然后我们想要算出X对X自己的注意力，也即X中的每个时间点与其余时...
Transformer的Q、K、V和Mutil-Head Self-Attention（超详细解读）
热门推荐
weixin_45303602的博客
11-02 1万+
举个例子我们在某宝上搜索东西，输入的搜索关键词就是Q，商品对应的描述就是K，Q与K匹配成功后搜索出来的商品就是V。Q、K、V经过Linear然后经过h个Self-Attention，得到h个输出，其中h指的是注意力的头数。更多的头数意味着更强大的模型能力，比如LLM大模型Baichuan-13B中的head数目是40，而Baichuan-7B中的head数目是32。是三个可训练的参数矩阵，输入矩阵X分别与三个矩阵参数进行相乘，相当于进行一次线性变换，得到了Q、K、V。，那Q、K、V是怎么来的呢？
最粗暴简单的理解self-attention QKV含义
我的博客
03-14 2664
现在有3个向量ABC，把向量看做人。 把每个向量映射为QKV，V是用来表征这个人的特征的，是一个人的灵魂，V可以表征这个人拥有善良、美丽、纯真的特性。可以把A变成QV两个人，Q是男，V是女，但是没有灵魂，灵魂在V里放着。它们一结合生出孩子，就可以表示人与人的关联性，因为孩子就是两个人的关联性，相似性。 self-attention做一件事，想让ABC一起生一个孩子，这个孩子将会与它们三个脱不了关系。 做法是，让A男-QAQ_AQA​与B女-KBK_BKB​生孩子，生出的孩子QA⋅KTQ_A\cdot{K^T
理解self-attention的Q, K, V的含义
qq_43703185的博客
09-13 7671
如果不设置 W_Q、W_k、W_v，我们计算的权重很大程度上依赖于我们如何确定原始输入向量 点乘的物理意义：两个向量的点乘表示两个向量的相似度。 就是Q如果自己跟自己(Q)相乘的话，那么根据向量点乘知识知道，俩个向量越相似，内积越大，当一个向量与自己做内积，再与其他不同词的向量做内积后(行成一个打分向量)，该向量经过softmax后，就会变成有一个位置的值特殊的大(自己与自己相乘)，其他位置的值非常非常小的状况出现，比如[0.98,0.01,0.05,0.05]那么,这样的得分再与V矩阵相乘后得出的加权向量
注意力机制中的qkv
Funnyman_Ming的博客
01-09 5509
从计算机视觉的角度解释注意力机制中的qkv的具体概念。
如何具体理解Self Attention中的Q、K、V以及计算过程
xfysq_的博客
04-01 1161
如何具体理解Self Attention中的Q、K、V以及计算过程
【transfomer】transfomer中Q、K、V的理解
rocking_struggling的博客
11-05 3552
简单来说，Q和K用于计算相关性系数，V相当于原始序列。V在相关性系数的加权下获得注意力层的输出。
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
自注意力机制(Self-Attention)
07-18
自注意力机制(Self-Attention)是一种在自然语言处理（NLP）领域中非常重要的技术，它首次被提出是在2017年的论文《Attention Is All You Need》中，作为Transformer模型的核心组成部分。该机制能够帮助模型更好地...
Transformer_Self-attention Modeling in Computer Vision.pdf
10-25
计算机视觉中的Transformer 在2017年谷歌设计了Transformer，并在NLP社区显示出了效果之后，有大量的工作专注于将其应用到计算机视觉社区。本文首先简要介绍了计算机视觉中的Transformer。然后，介绍了Transformer...
一起学习：大型语言模型（LLM）中的QKV（Query, Key, Value）和多头注意力机制
2301_79342058的博客
12-06 2845
在自然语言处理（NLP）领域，大型语言模型（LLM），比如GPT-3和BERT，彻底改变了机器理解和生成人类语言的方式。然后我们得到最终输出，即值的加权和，其中权重由每个键与查询匹配的程度决定。好吧，单词“River”和“Fish”的存在对我们理解上下文的贡献更大，相比之下其他词的贡献较小。如果我们被要求描述图片中的内容，我们的大脑不会从左上角一个像素一个像素地扫描，而是会立即关注场景中最突出的元素，比如画面中的男孩。首先，它们的输入都是相同的输入嵌入（我们先不考虑位置嵌入），假设有6个维度，如下图所示。
[LLM] 自然语言处理 ----- Attention机制中的Q,K,V介绍
摩登都市天空---专栏
09-14 1万+
注意力机制就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。 Q就是词的查询向量，K是“被查”向量，V是内容向量。 简单来说一句话：Q是最适合查找目标的，K是最适合接收查找的，V就是内容，这三者不一定要一致，所以网络这么设置了三个向量，然后学习出最适合的Q, K, V，以此增强网络的能力。 因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义...
注意力机制中的Q、K和V的意义
m0_58557812的博客
11-16 1446
注意力机制中的Q、K和V的意义
qkv自注意力机制原理
modi000的博客
01-25 532
在注意力机制中，有三个重要参数：q、k、v。q表示查询向量，k表示键向量，v表示值向量。当模型接收到输入时，会将输入向量分别转化为这三个向量，并计算他们之间的相似度得分。这些得分被用来计算输入中每个位置的加权和，使得模型能够关注那些重要的位置。这种注意力机制的好处在于它可以自适应的学习输入中的关键信息，而不需要手动指定那些部分是重要的。
如何理解self attention中的QKV矩阵
weixin_38381682的博客
03-15 1万+
如何理解self attention中的QKV矩阵 疑问：三个矩阵的形状是一样的（embd_dim*embd_dim），作用也都是对输入句子的embedding做线性变换（tf.matmul(Q,input_value),tf.matmul(K,input_value)，tf.matmul(V,input_value)）。 那么，为什么需要三个矩阵QKV。 对于这个问题，在我第一次看了b站博主视频https://www.bilibili.com/video/BV1P4411F77q（强烈推荐）。就已经
css学习
最新发布
polarisya的博客
08-07 214
【代码】css学习。
Transformer self-attention
09-24
Transformer self-attention是Transformer模型中的一种注意力机制。它通过计算输入序列中每个位置的注意力权重，将序列中的每个元素与其他位置的元素进行加权组合。相比于传统的RNN模型，self-attention可以考虑到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值