如何理解 Transformer 中的 Query、Key 与 Value

已于 2024-03-08 16:18:30 修改
阅读量4w 收藏 296
点赞数 128
文章标签： 神经网络 机器学习 深度学习 自然语言处理
于 2021-04-27 20:52:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyehuisw/article/details/116207892
版权

-------------------------------------

原创文章欢迎转载，但请注明出处。

-------------------------------------

Transformer 起源于 2017 年的一篇 google brain 的又一篇神文 《Attention is all you need》，至此由引领了在 NLP 和 CV 了又一研究热点。

在 Transformer 中一个非常关键的贡献就是 self-attention。就是利用输入样本自身的关系构建注意力模型。

self-attention 中又引入了三个非常重要的元素： Query 、Key 和 Value。

假设 \bf{X} \in \mathbb{R}^{n \times d} 是一个输入样本序列的特征, 其中 n 为输入样本个数(序列长度)，d 是单个样本纬度。

Query、Key & Value 定义如下：

Query： \bf{Q} = \bf{X} \cdot W^Q ， 其中\bf{W}^Q \in \mathbb{R}^{d \times d_q}， 这个矩阵可以认为是空间变换举证，下同

Key： \bf{K} = \bf{X} \cdot W^K ，其中

最低0.47元/天 解锁文章
yafee123
关注
理解Transformer模型：查询向量（Query, Q）、键向量（Key, K）和值向量（Value, V）
ZJQ的博客
05-20 1903
在深度学习和自然语言处理（NLP）中，特别是在注意力机制（如Transformer模型中的自注意力机制）中，查询向量（Query, Q）、键向量（Key, K）和值向量（Value, V）是核心概念。接下来，我们会计算查询向量Q与每个键向量K的点积（或其他相似度度量），并通过softmax函数得到注意力权重。，并且它们通常是通过将词嵌入向量通过一个线性变换（即乘以一个权重矩阵）得到的。最后，我们使用注意力权重对值向量V进行加权求和，得到输出向量。，得到注意力权重，从而获得0到1之间的概率值。
​Transformer模型中，QKV（Query、Key、Value）；判断一个Transformer模型中有多少头（即注意力头数）
ZJQ的博客
08-06 1688
然而，在实际实现中，由于Query和Key通常共享相同的权重矩阵（尽管它们可以不同），所以你可能只看到了两组权重矩阵（一组用于Q/K，另一组用于V），但在这个例子中，我们假设是分开考虑的三组（可能是为了更一般化的说明，或者在某些特定实现中确实如此）。但重要的是，无论是一组还是两组用于Q/K，都不会改变我们推断头数的方法。具体来说，每个头都会使用一组独立的权重矩阵（通常是Q、K、V三个矩阵）来将输入向量线性变换为查询（Query）、键（Key）和值（Value）向量，然后计算注意力分数并进行加权求和。
通俗理解Transformer
kaka__22的博客
06-22 1019
通过向量方式计算自注意力的第一步，就是从每个编码器的输入向量(即每个单词的词向量)生成三个向量：查询向量query-vec、键向量key-vec、值向量value-vec。查询向量、键向量、值向量这三个向量的维度在论文中设置的是64，在维度上比词嵌入向量更低，因为词嵌入和编码器的输入/输出向量的维度是512，但也不是必须比编码器输入输出的维数小，这样做主要是为了让后续多头注意力的计算更稳定。
Attention 注意力机制
最新发布
qq_60245590的博客
04-06 912
核心思想Attention 机制用于处理时序问题，其核心是让模型能够动态关注输入中的重要部分，同时忽略不重要的部分。通过学习不同部分的权重，对输入序列中的关键信息进行显式加权，从而提升模型对相关信息的捕捉能力。与传统模型的对比RNN/CNN 的局限性传统循环神经网络（RNN）或卷积神经网络（CNN）在处理序列时，难以灵活区分不同位置的重要性。尤其在长序列中，信息传递效率低，可能导致关键信息丢失或弱化。Attention 的优势通过权重分配，直接突出重要部分，改善模型对长距离依赖关系的处理能力。
彻底搞懂，Transformer ！！
2401_85343303的博客
03-03 982
输入转换：将输入嵌入转换为 Query、Key、Value 三个向量。相似度计算与缩放：用 Query 与 Key 做点积并除以。归一化：通过 softmax 得到归一化的注意力权重。信息聚合：用这些权重对 Value 向量进行加权求和，输出综合上下文信息的表示。希望可以帮助大家深入理解 Transformer 中 Query-Key-Value 矩阵计算与注意力权重生成的原理，当然在实际项目中，大家需要灵活应用这些方法，取得更好的效果。
Transformer Attention机制中的Query、Key和Value
热门推荐
YHKKun的博客
03-29 1万+
Value向量是与每个位置相关联的“内容”或“上下文信息”的载体，包含的是实际要被关注并组合成输出的信息，即每个位置上我们认为对后续处理有价值的信息。当计算“jumps”这个词的注意力时，它的Query向量Q5将会与所有的Key向量（K1至K9）进行点积运算，然后通过softmax函数得到相应的注意力权重分布。)，通过加权求和的方式得到一个Context Vector（上下文向量），这个向量融合了输入序列中所有位置的信息，但不同位置的信息贡献程度由它们相对于Query的关注度决定。
三篇助你理解Transformer 中的 Query、Key 与 Value
missgrass的博客
01-20 7728
如何理解 Transformer 中的 Query、Key 与 Value 这一篇主要是帮助你用比喻的手法来了解一下 attention机制中的query,key,value的概念解释 这一篇帮你用图来了解过程 如何理解 Transformer 中的 Query、Key 与 Value 这一篇总结收尾 就是 Query*Key其实就是计算相关度或叫依赖度，然后经过softmax转为权重，针对可能的y计算加权和就得到最终的结果了。 其实就是用你Query*Key算出来一个权重，然后再跟value计算一下子，出
【学习笔记】Transformer中的query、key与value
qq_52378211的博客
04-26 2010
在自注意力机制（self-attention）中，查询（query）、键（key）和值（value）是通过对输入特征进行线性变换得到的。对于输入特征序列（例如文本序列或图像特征图），每个位置都有一个对应的原始特征向量。然后，通过乘以权重矩阵来将原始特征向量映射到查询、键和值向量空间。那么这个权重矩阵是怎么来的呢？对于每个位置的输入特征向量，通过与对应的查询矩阵、键矩阵和值矩阵进行矩阵乘法操作，从而分别得到查询向量、键向量和值向量。
Query Transformer
congshi8042的博客
04-16 233
Oracle优化器的工作主要分成3步。。。[@more@]Oracle优化器的工作主要分成3步: 首先, 优化器会尝试把复杂的SQL语句转化较为简单的SQL语句, 通常倾向于转化为表的连接方式.然后, 优化器会对依据统计信息对S...
Transformer中的Q，K，V
vivi_cin的博客
06-25 5784
transformer中的Q,V,T和attemtion
补充：理解Query、Key和Value
kawhiDK的博客
07-30 2281
Query（查询）每个输入元素（如单词、字符等）都有一个Query向量。Query向量表示我们正在寻找的信息或特征。在计算注意力权重时，Query用于匹配Key，从而确定关注哪些元素及其重要程度。Key（键）每个输入元素也有一个Key向量。Key向量表示元素的特征或内容。Key用于与Query匹配，计算两者的相似度或相关性，从而确定哪些元素对当前Query重要。Value（值）每个输入元素还有一个Value向量。Value向量表示实际的信息或特征值。
怎么就需要一组固定：查询（Query）、键（Key）、值（Value）+ 简简单单说明它们之间有什么差异和作用
kingking44的博客
04-02 1115
在预训练模型 GPT（Generative Pre-trained Transformer）中，初始的 ( Q )、 ( K )、 ( V ) 值通常是通过输入序列中的词嵌入（Word Embeddings）以及位置编码（Positional Encoding）生成的。这些输入在模型训练之前是固定的，但它们是通过训练过程中学习到的。总之， ( Q )、 ( K )、 ( V ) 在模型训练之前是固定的，但它们的值是通过模型参数学习得到的，并且在训练过程中会根据训练数据进行调整，以适应任务的要求。
一文详解视觉Transformer在CV中的现状、趋势和未来方向（分类/检测/分割/多传感器融合）...
CV_Autobot的博客
11-07 1712
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群后台回复【transformer综述】获取2022最新ViT综述论文！摘要Transformer，一种基于注意力的编码器-解码器模型，已经彻底改变了自然语言处理（NLP）领域。受这些重大成就的启发，最近在计算机视觉（CV）领域采用类似Transformer的架构进行了一些开创性的工作，这些...
Transformer模型学习笔记
qq_44707928的博客
09-09 775
Transformer模型学习笔记
transformer
Claroja
09-06 281
transformer架构介绍 首先把transformer当成一个黑盒子，输入是一个序列，输出是另外一个序列，如下图： transformer由两部分组成，一个是encoders，另外一个是decoders，两者是相连的。 encoders包含了多个encoder，同样dicoders也包含了多个decoder。 encoders之间不共享权重，每个encoder又包含了两层： 第一层是self-attention层，这一层可以让词语观察整个句子的其他词语 第二层是feed-forward neur
简单transformer
c851666395的博客
10-28 380
简单的transformer代码
怎么通俗简单的理解transformer中qkv
03-21
- **K（Key，键）**: 是每个单词自身的特征表示，用来与其他单词的 Query 进行匹配，判断它们的相关性。 - **V（Value，值）**: 提供实际的内容信息。如果某个单词被判定为重要，则它的 Value 将更多地贡献到最终的...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值