Transformer——Q、K、V详解

已于 2024-01-12 15:46:26 修改
阅读量1.3k 收藏 1
点赞数
分类专栏： 算法 文章标签： transformer 深度学习 人工智能
于 2023-12-27 14:21:15 首次发布
原文链接：https://www.zhihu.com/question/362131975/answer/3168295077
版权

一、Q、K、V是什么？

  • q代表的是query查询，后续会和每一个k进行匹配，找到最相似的k
  • k代表的是key关键字，后续会被每一个q匹配
  • v代表的是value值，代表从输入中提到的信息

注意：每一个key，都对应一个value；计算query和key的匹配程度就是计算两者相关性，相关性越大，代表key对应value的权重也就越大，这就是不同信息的权重不一样，这就是注意力机制！

二、例子

图书馆里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威这本书（query）的时候，我们就可以看看那些动漫、电影、甚至二战（美国队长）相关的书籍。

参考文章

  1. Transformer详解——知乎
William.csj
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
白话transformer（三）：Q K V矩阵代码演示
Andy_shenzl的博客
03-15 1357
在前面讲解了QKV矩阵的原理，属于比较主观的解释，下面用简单的代码再过一遍加深下印象。白话transformer（三）
Transformer模型详解
01-12
概要： 《Transformer模型详解》是一份详尽且深入的Transformer模型学习指南，为那些希望了解Transformer模型核心原理、实现细节和扩展应用的学习者提供了宝贵的资源。此资源内容广泛，从模型的基本概念到实际应用，几乎涵盖了Transformer模型的所有方面。 适用人群： 本资源适用于所有对深度学习，特别是Transformer模型感兴趣的学习者。无论您是初学者还是有一定经验的开发者，都可以从这份详解中获得新的知识和启示。 使用场景及目标： 此资源的目标是为学习者提供一个全面的Transformer模型学习路径，帮助他们在深度学习的道路上更进一步。无论您是想要了解Transformer模型的最新发展，还是希望在自己的项目中应用Transformer，本资源都将为您提供有价值的指导和参考。 其他说明： 此资源注重实践和应用，不仅提供了大量的理论解释，还包含了许多代码示例和实验，使学习者能够直接将所学应用于实际场景。此外，这份详解的“非权威”性质意味着它不会限制学习者的思考，而是鼓励他们探索和创新。
基于Transformer模型的智能问答原理详解
02-24
图一就是Transformer模型的框架，不过这里的encoder和decoder不再是RNN结构，拆开来看，细节如图二：原始论文里，作者设置了6层encoder与6层decoder结构。至于为什么是6，这就是一个超参数而已，可以根据实际情况设置为其他值。从图二中可以看到，计算流程是：输入的句子经过逐层编码后，最上层的encoder会输出中间结果，这个中间结果在每一层decoder中都会用到。同时decoder的计算也是从下往上进行，直到最后输出预测结果。这里省略的是最下层decoder的输入：如果是训练过程，输入则是真实的目标句子；如果是预测过程，第一个输入开始标识符，预测下一个词，并且把这
什么是Transformer 的Attention注意力机制？Q/K/V是表示什么
weixin_52033229的博客
10-11 543
Query，Key，Value的概念取自于信息检索系统，举个简单的搜索的例子来说。当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服）时，你在搜索引擎上输入的内容便是Query，然后搜索引擎根据Query为你匹配Key（例如商品的种类，颜色，描述等），然后根据Query和Key的相似度得到匹配的内容（Value)。及其之前的解码结果，论文中把这种情况下的multi-head attention叫做masked multi-head attention。来自于解码器的上一个输出，
Transformer 01：自注意力机制Q，K，V详解
最新发布
qq_35284513的博客
03-18 2631
在深度学习领域，一个神秘且强大的概念——自注意力机制（Self-Attention Mechanism），近年来成为了许多突破性成果的幕后英雄。从自然语言处理（NLP）到计算机视觉，自注意力机制正逐渐成为构建高效、强大模型的关键。但它究竟是什么？又是如何工作的？接下来将用通俗易懂的理解解释Transformer的工作原理。
Transformer的Q、K、V和Mutil-Head Self-Attention（超详细解读）
weixin_45303602的博客
11-02 7252
举个例子我们在某宝上搜索东西，输入的搜索关键词就是Q，商品对应的描述就是K，Q与K匹配成功后搜索出来的商品就是V。Q、K、V经过Linear然后经过h个Self-Attention，得到h个输出，其中h指的是注意力的头数。更多的头数意味着更强大的模型能力，比如LLM大模型Baichuan-13B中的head数目是40，而Baichuan-7B中的head数目是32。是三个可训练的参数矩阵，输入矩阵X分别与三个矩阵参数进行相乘，相当于进行一次线性变换，得到了Q、K、V。，那Q、K、V是怎么来的呢？
transformer中QKV的通俗理解(剩女与备胎的故事)
Peter的博客
12-08 9458
用vit的时候读了一下transformer的思想,前几天面试结束之后发现对QKV又有点忘记了, 写一篇文章来记录一下 参考链接: 哔哩哔哩:在线激情讲解transformer&Attention注意力机制（上）在线激情讲解transformer&Attention注意力机制（上）_哔哩哔哩_bilibiliAttention is all you need介绍 更具体的介绍可以去阅读论文在Attention is all you need这篇文章中提出了著名的Transformer模型Transforme
Transformer中的Q/K/V理解
fzz97_的博客
02-07 8955
详细解释了Transformer中的Q/K/V矩阵的作用和意义。
Transformer中的Q，K，V
vivi_cin的博客
06-25 3339
transformer中的Q,V,T和attemtion
Transformer算法解读（self-Attention/位置编码/多头注意力/掩码机制/QKV/Transformer堆叠/encoder/decoder）
机器学习与软件工程
06-30 2127
Transformer算法解读（self-Attention/位置编码/多头注意力/掩码机制/QKV/Transformer堆叠/encoder/decoder）
【transfomer】transfomer中Q、K、V的理解
rocking_struggling的博客
11-05 3278
简单来说，Q和K用于计算相关性系数，V相当于原始序列。V在相关性系数的加权下获得注意力层的输出。
Transformer详解.pptx
06-15
本课件是对论文 Attention is all you need 的导读与NLP领域经典模型 Transformer 的详解，通过介绍传统Seq2Seq 模型及 Attention ，引入 Transformer 模型，并对其架构进行宏观微观的解读，然后详细介绍Transformer每一步的工作流程，最后给出 Transformer 在训练阶段的细节提要，以及推理阶段的解码策略等内容。
transformer中dropout一般设为多少
03-25
dropout 的值越大，模型的过拟合程度会越小，但是模型的泛化能力也会下降，因为 dropout 会随机丢弃一些神经元，这可能会损失一些重要的信息。另一方面，如果 dropout 的值太小，模型可能会过拟合，因为模型没有足够的正则化来避免过拟合。
CSWin Transformer
08-20
Transformer设计中一个具有挑战性的问题是，全局自注意力的计算成本非常高，而局部自注意力通常会限制每个词向量的交互域。为了解决这个问题，作者提出了CSWin Transformer。CSWin Transformer 在常见的视觉任务上展示了非常好的性能。具体来说，它在没有任何额外训练数据或标签的情况下，在 ImageNet-1K 分类任务上达到了 85.4% Top-1 准确率，在 COCO 检测任务上达到了 53.9 box AP 和 46.4 mask AP，在 ADE20K 语义分割任务上达到了 51.7 mIOU，均超过了SwinT。通过在更大的数据集 ImageNet-21K 上进一步预训练，在 ImageNet-1K 上达到了 87.5% 的 Top-1 准确率，在 ADE20K 上达到了最先进的分割性能，达到了 55.7 mIoU。
transformer模型详解
02-24
综合分析了现有的主流的nlp翻译模型的即基于CNN的可并行对其文本翻译和基于RNN的LSTM门控长短期记忆时序翻译模型，总结了两个模型的优缺点并在此基础上提出了基于自注意力机制的翻译模型transformer，transformer...
Transformer学习总结——原理篇
02-24
首先从整体上看一下Transformer的结构：从图中可以看出，整体上Transformer由四部分组成：Inputs:Inputs=WordEmbedding(Inputs)+PositionalEmbeddingInputs=WordEmbedding(Inputs)+PositionalEmbeddingInputs=Word...
LLM - Transformer 的 Q/K/V 详解
BITDDD小栈
01-27 1095
Transformer 中 Self-Attention、Multi-Head-Attention 原理与实践。
transformer qkv详解
09-26
Transformer模型中的QKV是指Query（查询）、Key（键）和Value（值）的缩写。QKV是Transformer中用于计算注意力权重的关键组成部分。在Transformer模型中，每个输入都会经过一个线性变换来得到查询、键和值的表示。具体而言，通过矩阵乘法将输入与相应的权重矩阵相乘，得到查询（Q）、键（K）和值（V）的表示。 Q、K和V的作用如下： - 查询（Q）表示当前位置需要关注的内容。 - 键（K）表示所有位置的内容，用于和查询进行比较，从而计算注意力权重。 - 值（V）则是用来根据注意力权重对不同位置的内容进行加权平均。 通过将查询和键进行点积操作，并对结果进行缩放，然后再经过softmax函数，可以得到注意力权重。注意力权重决定了在计算加权平均时，不同位置的值对结果的影响程度。最后，将注意力权重与值相乘，再进行加权平均，就可以得到经过注意力机制处理后的表示。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值