如何理解 Transformer 中的 Query、Key 与 Value

已于 2024-03-08 16:18:30 修改
阅读量3.7w 收藏 295
点赞数 128
文章标签： 神经网络 机器学习 深度学习 自然语言处理
于 2021-04-27 20:52:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyehuisw/article/details/116207892
版权

-------------------------------------

原创文章欢迎转载，但请注明出处。

-------------------------------------

Transformer 起源于 2017 年的一篇 google brain 的又一篇神文 《Attention is all you need》，至此由引领了在 NLP 和 CV 了又一研究热点。

在 Transformer 中一个非常关键的贡献就是 self-attention。就是利用输入样本自身的关系构建注意力模型。

self-attention 中又引入了三个非常重要的元素： Query 、Key 和 Value。

假设 \bf{X} \in \mathbb{R}^{n \times d} 是一个输入样本序列的特征, 其中 n 为输入样本个数(序列长度)，d 是单个样本纬度。

Query、Key & Value 定义如下：

Query： \bf{Q} = \bf{X} \cdot W^Q ， 其中\bf{W}^Q \in \mathbb{R}^{d \times d_q}， 这个矩阵可以认为是空间变换举证，下同

Key： \bf{K} = \bf{X} \cdot W^K ，其中

最低0.47元/天 解锁文章
yafee123
关注
理解Transformer模型：查询向量（Query, Q）、键向量（Key, K）和值向量（Value, V）
ZJQ的博客
05-20 849
在深度学习和自然语言处理（NLP）中，特别是在注意力机制（如Transformer模型中的自注意力机制）中，查询向量（Query, Q）、键向量（Key, K）和值向量（Value, V）是核心概念。接下来，我们会计算查询向量Q与每个键向量K的点积（或其他相似度度量），并通过softmax函数得到注意力权重。，并且它们通常是通过将词嵌入向量通过一个线性变换（即乘以一个权重矩阵）得到的。最后，我们使用注意力权重对值向量V进行加权求和，得到输出向量。，得到注意力权重，从而获得0到1之间的概率值。
​Transformer模型中，QKV（Query、Key、Value）；判断一个Transformer模型中有多少头（即注意力头数）
最新发布
ZJQ的博客
08-06 520
然而，在实际实现中，由于Query和Key通常共享相同的权重矩阵（尽管它们可以不同），所以你可能只看到了两组权重矩阵（一组用于Q/K，另一组用于V），但在这个例子中，我们假设是分开考虑的三组（可能是为了更一般化的说明，或者在某些特定实现中确实如此）。但重要的是，无论是一组还是两组用于Q/K，都不会改变我们推断头数的方法。具体来说，每个头都会使用一组独立的权重矩阵（通常是Q、K、V三个矩阵）来将输入向量线性变换为查询（Query）、键（Key）和值（Value）向量，然后计算注意力分数并进行加权求和。
Transformer中Q，K，V的理解
热门推荐
yrk0556的博客
02-20 2万+
Query，Key，Value的概念取自于信息检索系统，举个简单的搜索的例子来说。当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服）时，你在搜索引擎上输入的内容便是Query，然后搜索引擎根据Query为你匹配Key（例如商品的种类，颜色，描述等），然后根据Query和Key的相似度得到匹配的内容（Value)。 来源：https://zhuanlan.zhihu.com/p/48508221 可以参考下图，每一个单词都有QKV这三个向量，这里运用了注意力机制，也有是会去求其他单词和该单词的.
补充：理解Query、Key和Value
kawhiDK的博客
07-30 518
Query（查询）每个输入元素（如单词、字符等）都有一个Query向量。Query向量表示我们正在寻找的信息或特征。在计算注意力权重时，Query用于匹配Key，从而确定关注哪些元素及其重要程度。Key（键）每个输入元素也有一个Key向量。Key向量表示元素的特征或内容。Key用于与Query匹配，计算两者的相似度或相关性，从而确定哪些元素对当前Query重要。Value（值）每个输入元素还有一个Value向量。Value向量表示实际的信息或特征值。
自注意力机制中的Query、Key、Value
鬼马行天的博客
04-23 657
自注意力机制中的查询（Query）、键（Key）和值（Value）是实现注意力计算的核心组件。这些组件帮助模型确定输入序列中的哪些部分应该获得更多关注。以下是一个通俗易懂的例子，帮助解释Query、Key和Value在自注意力机制中的作用。
注意力机制
S_5922的博客
12-08 175
注意力机制引入了显示的考虑随机线索（即有偏向性的选择某些输入）引入了三个概率：query（随机线索）：想要查询的信息key（不随机线索）：本身所具有的属性value（值）：这个属性所对应的价值注：key和value可以相同，也可以不相同。。例如某物的价值因人而异。
Transformer Attention机制中的Query、Key和Value
YHKKun的博客
03-29 5455
Value向量是与每个位置相关联的“内容”或“上下文信息”的载体，包含的是实际要被关注并组合成输出的信息，即每个位置上我们认为对后续处理有价值的信息。当计算“jumps”这个词的注意力时，它的Query向量Q5将会与所有的Key向量（K1至K9）进行点积运算，然后通过softmax函数得到相应的注意力权重分布。)，通过加权求和的方式得到一个Context Vector（上下文向量），这个向量融合了输入序列中所有位置的信息，但不同位置的信息贡献程度由它们相对于Query的关注度决定。
三篇助你理解Transformer 中的 Query、Key 与 Value
missgrass的博客
01-20 6716
如何理解 Transformer 中的 Query、Key 与 Value 这一篇主要是帮助你用比喻的手法来了解一下 attention机制中的query,key,value的概念解释 这一篇帮你用图来了解过程 如何理解 Transformer 中的 Query、Key 与 Value 这一篇总结收尾 就是 Query*Key其实就是计算相关度或叫依赖度，然后经过softmax转为权重，针对可能的y计算加权和就得到最终的结果了。 其实就是用你Query*Key算出来一个权重，然后再跟value计算一下子，出
【学习笔记】Transformer中的query、key与value
qq_52378211的博客
04-26 924
在自注意力机制（self-attention）中，查询（query）、键（key）和值（value）是通过对输入特征进行线性变换得到的。对于输入特征序列（例如文本序列或图像特征图），每个位置都有一个对应的原始特征向量。然后，通过乘以权重矩阵来将原始特征向量映射到查询、键和值向量空间。那么这个权重矩阵是怎么来的呢？对于每个位置的输入特征向量，通过与对应的查询矩阵、键矩阵和值矩阵进行矩阵乘法操作，从而分别得到查询向量、键向量和值向量。
Query Transformer
congshi8042的博客
04-16 207
Oracle优化器的工作主要分成3步。。。[@more@]Oracle优化器的工作主要分成3步: 首先, 优化器会尝试把复杂的SQL语句转化较为简单的SQL语句, 通常倾向于转化为表的连接方式.然后, 优化器会对依据统计信息对S...
Transformer中的Q，K，V
vivi_cin的博客
06-25 4340
transformer中的Q,V,T和attemtion
『NLP学习笔记』如何理解Transformer中的Q,K,V以及Mask[补充深度学习中的FLOPs是什么？如何计算]
AI新视界
10-12 792
如何理解Transformer中的Q,K,V以及Mask FLOPS(注意全大写)，是floating point operations per second的缩写，意指 每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。
LLM - Transformer 的 多头自注意力(MHSA) 理解与源码
Mystra
07-08 728
在 Transformer 中，多头自注意力机制 (MHSA, Multi-Head Self-Attention) 是核心创新之一，极大地提升模型处理序列数据的能力。多头自注意力机制是自注意力机制的扩展，将输入分割成多个 头(Head)，每个头学习输入的不同部分表示，然后，将这些表示合并起来，以捕获信息的不同方面。
【笔记一】注意力机制初了解
2301_80365008的博客
05-22 563
它计算一个序列（通常作为Query）的元素与另一个序列（通常作为Key和Value）的元素之间的注意力分数，从而关注到两个序列之间的相关性和交互。这些特征或属性可能是输入数据本身的属性（如图像中的像素值、文本中的单词嵌入等），也可能是通过某种方式（如神经网络）从输入数据中提取出来的更高级的特征。（Self-Attention）在自注意力机制中，每个输入元素与序列中的所有其他元素进行交互，以捕获序列内部的依赖关系，计算注意力权重。自注意力机制、注意力机制以及多头注意力机制之间的区别和特点。
Attention中的query,key和value
qq_43340256的博客
07-21 2810
(4) 作って理解する Transformer / Attention - Qiita. https://qiita.com/halhorn/items/c91497522be27bde17ce.(3) Transformer 1. Attention中的Q，K，V是什么 - 知乎. https://zhuanlan.zhihu.com/p/441459022.
如何理解transformer中的qkv
11-02
Transformer中的Q、K、V是通过对输入矩阵X进行线性变换得到的。其中，Q代表Query，K代表Key，V代表Value。在Scaled Dot-Product Attention中，Q、K、V分别用于计算Attention权重，即通过将Q与K的转置相乘得到Attention矩阵，再将Attention矩阵与V相乘得到最终的输出。多头注意力则是在这个基础上，对同样的输入矩阵X定义多组不同的Q、K、V，通过学习不同的参数得到不同的Attention矩阵，从而提高模型的拟合能力。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值