transformer attention注意力理解 QKV含义深度探索

已于 2024-01-17 14:59:32 修改
阅读量908 收藏 21
点赞数 21
文章标签： transformer 深度学习 人工智能
于 2024-01-17 12:43:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82660697/article/details/135647383
版权

此处为b站学习视频记录
https://www.bilibili.com/video/BV1dt4y1J7ov/?share_source=copy_web&vd_source=c675206b339487e9755eec554de241a9
在这里插入图片描述
在这里插入图片描述
现在给出一个人的腰围为57， 想要预测他的体重，自然的，因为体重57在56和58之间，所以我们推断其体重在43～48之间
在这里插入图片描述
但是我们还需要定量计算体重预测值，怎么办呢？我们可以根据57和56，57和58的相似程度来给56对应的体重43和58对应的体重48赋予权重，再求和得到预测值。由于57到56、58的距离一样，所以一种方法是取它们对应的体重的平均值。
在这里插入图片描述
因为57距离56、58最近，我们自然会非常“注意”他们，所以我们分给他们的注意力权重各为0.5。

现在我们引入QKV，并将注意力范围扩展到整个数据集
q代表一个新的未见样本的输入&#x

最低0.47元/天 解锁文章
sdu_study
关注
  • 21
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
nlp中的Attention注意力机制+Transformer详解
01-27
但为什么还要引入注意力机制呢？计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。 优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让...
Attention 注意力机制讲解思维导图
01-08
Attention 注意力机制讲解思维导图
Transformer的Q、K、V和Mutil-Head Self-Attention（超详细解读）
weixin_45303602的博客
11-02 1万+
举个例子我们在某宝上搜索东西，输入的搜索关键词就是Q，商品对应的描述就是K，Q与K匹配成功后搜索出来的商品就是V。Q、K、V经过Linear然后经过h个Self-Attention，得到h个输出，其中h指的是注意力的头数。更多的头数意味着更强大的模型能力，比如LLM大模型Baichuan-13B中的head数目是40，而Baichuan-7B中的head数目是32。是三个可训练的参数矩阵，输入矩阵X分别与三个矩阵参数进行相乘，相当于进行一次线性变换，得到了Q、K、V。，那Q、K、V是怎么来的呢？
3. Transformer —— 理解QKV
cs_SZHS的博客
04-17 2491
在这一篇中，我们重新认识了词向量，qkv以及他们的意义和作用。在此基础上，后续才能更好的理解decoder的工作原理。接下来，主要会讲解decoder结构和原理，transformer的总体结构，训练和预测流程。如果能找到合适的项目的话，会进行代码层面的学习演示。0.1*v1。
transformer中对于QKV的个人理解
最新发布
weixin_44115575的博客
06-09 1609
上面这个transformer中的注意力公式，相信大家不会陌生。公式并不复杂，但是why?为什么是这个公式，为什么大家都说之前了解transformer的时候，对于QKV的设定感到很奇怪，后来慢慢接受了这个设定，今天记录一下自己的理解。
Transformer中的Q/K/V理解
fzz97_的博客
02-07 1万+
详细解释了Transformer中的Q/K/V矩阵的作用和意义。
ATTENTION QKV理解
studyvcmfc的专栏
10-28 1595
https://blog.csdn.net/u013887652/article/details/101062567?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1#1
Transformer动画讲解 - 注意力计算Q、K、V
m0_59235245的博客
06-07 825
W_Q的维度通常是(d_model, d_k)，其中d_model是输入嵌入的维度（也是模型的维度），而d_k是Q/K/V向量的维度。假设d_k被设定为128。
[LLM] 自然语言处理 ----- Attention机制中的Q,K,V介绍
摩登都市天空---专栏
09-14 1万+
注意力机制就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。 Q就是词的查询向量，K是“被查”向量，V是内容向量。 简单来说一句话：Q是最适合查找目标的，K是最适合接收查找的，V就是内容，这三者不一定要一致，所以网络这么设置了三个向量，然后学习出最适合的Q, K, V，以此增强网络的能力。 因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义...
注意力机制的序列标注-attention
02-06
在自然语言处理（NLP）领域，注意力机制（Attention Mechanism）已经成为深度学习模型的核心组成部分，尤其是在序列标注任务中。序列标注是指对输入序列中的每个元素分配一个预定义的标签，如命名实体识别、词性标注...
Transformer：Seq2Seq 模型 + 自注意力机制.zip
02-06
在传统的RNN或LSTM序列模型中，信息传递依赖于序列的顺序，而Transformer通过引入自注意力（Self-Attention）机制，消除了这种顺序依赖，提高了并行计算效率。 自注意力机制是Transformer的核心，它允许模型在处理...
Transformer——Q、K、V详解
Williamcsj的博客
12-27 2086
图书馆里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威这本书（query）的时候，我们就可以看看那些动漫、电影、甚至二战（美国队长）相关的书籍。
【VI Transformer】Self-attention中QKV的含义-学习记录
weixin_47776643的博客
03-19 440
【VI Transformer】Self-attention中QKV的含义-学习记录
通俗易懂：Attention中的Q、K、V是什么？怎么得到Q、K、V？
热门推荐
weixin_44371912的博客
04-29 3万+
说一下Attention中的QKV是什么，再举点例子说明QKV怎么得到。还是结合例子明白的快。 Attention中Q、K、V是什么？ 首先Attention的任务是获取局部关注的信息。Attention的引入让我们知道输入数据中，哪些地方更值得关注。 对于Q(uery)、K(ey)、V(alue)的解释，知其然而知其所以然。 首先Q、K、V都源于输入特征本身，是根据输入特征产生的向量，但目前我们现在无需关注是如何产生这组向量的。 V可以看做表示单个输入特征的向量。当我们直接把一组V输入到网络中进行训练，那
注意力机制中的qkv
Funnyman_Ming的博客
01-09 5514
从计算机视觉的角度解释注意力机制中的qkv的具体概念。
【transfomer】transfomer中Q、K、V的理解
rocking_struggling的博客
11-05 3555
简单来说，Q和K用于计算相关性系数，V相当于原始序列。V在相关性系数的加权下获得注意力层的输出。
一起学习：大型语言模型（LLM）中的QKV（Query, Key, Value）和多头注意力机制
2301_79342058的博客
12-06 2848
在自然语言处理（NLP）领域，大型语言模型（LLM），比如GPT-3和BERT，彻底改变了机器理解和生成人类语言的方式。然后我们得到最终输出，即值的加权和，其中权重由每个键与查询匹配的程度决定。好吧，单词“River”和“Fish”的存在对我们理解上下文的贡献更大，相比之下其他词的贡献较小。如果我们被要求描述图片中的内容，我们的大脑不会从左上角一个像素一个像素地扫描，而是会立即关注场景中最突出的元素，比如画面中的男孩。首先，它们的输入都是相同的输入嵌入（我们先不考虑位置嵌入），假设有6个维度，如下图所示。
如何理解attention中的Q、K、V
m0_51474171的博客
10-28 9313
Q:QueryK:KeyV:Value其实是三个矩阵，矩阵如果表示为LxD，L是句子中词的个数，D是嵌入维度，在自注意力机制里，QKV是表示同一个句子的矩阵，否则KV一般是来自一个句子，而Q来自其他句子可以通过这三个线性变换query，key，value得到我们想要的QKV，其中三个变换的输入都是768维，输出都是768维将该矩阵输入上面的三个线性转换，就可以得到三个矩阵KQV，，维度其实没有改变。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值