transformer注意力机制的理解（Q,K,V,dk）

最新推荐文章于 2024-08-06 18:20:30 发布
最新推荐文章于 2024-08-06 18:20:30 发布
阅读量5.5k 收藏 9
点赞数 3
分类专栏： 普通人的搬砖日子 文章标签： 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Quentin_nb/article/details/127493859
版权

Attention公式：

上面这个注意力公式可以理解为是算 V 的加权后的表示

权重就是V前面的所有部分，

其中 softmax 可以使得权重概率分布和为1。 

其中 \frac{QK^{T}}{\sqrt{d_{k}}} 算的就是注意力的原始分数（其实也就是相似度分数，通过Q和K的点积求出）

其中 {\sqrt{d_{k}}} 是缩放系数，可以使结果不至于过大或过小，导致 softmax 之后就非0即1。

可以看下图帮助理解（图中最上边一行是softmax之前的结果，中间一行是没有除{\sqrt{d_{k}}}的softmax结果，最后一行是除了{\sqrt{d_{k}}}的softmax结果。可以看出在不除{\sqrt{d_{k}}} 的时候softmax的结果只会在输入的最大值或者几个大值附近出现，看起来非常陡峭。当输入除了{\sqrt{d_{k}}} 以后我们发现输入数据的分布大部分都保留了下来，这样的好处就是可以在梯度回传的时候让梯度比较平稳）

 

 

Quentin_nb
关注
专栏目录
『NLP学习笔记』如何理解Transformer中的Q,K,V以及Mask[补充深度学习中的FLOPs是什么？如何计算]
AI新视界
10-12 773
如何理解Transformer中的Q,K,V以及Mask FLOPS(注意全大写)，是floating point operations per second的缩写，意指 每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。
Vision Transformer （ViT）：图像分块、图像块嵌入、类别标记、QKV矩阵与自注意力机制的解析
养乐多的博客
07-29 1万+
本文将介绍Vision Transformers （ViT）中的关键点。包括图像分块（Image Patching）、图像块嵌入（Patch Embedding）、类别标记（class_token）、QKV矩阵计算过程、余弦相似度（cosine similarity）、Softmax、自注意力机制等概念。主要介绍QKV矩阵计算过程。
注意力机制中的qkv
Funnyman_Ming的博客
01-09 6285
从计算机视觉的角度解释注意力机制中的qkv的具体概念。
selfAttention 中的dk到底是什么
一休
08-06 899
selfAttention dk表示什么
注意力机制的qkv
wangmarkqi的博客
09-11 1437
关于qkv
注意力机制（Attention mechanism）
PL_hfc的博客
07-08 1724
自注意力机制（self-attention）首先，其核心思想为：其中，Q为query， ，即查询、要查询的信息K为key， ，即索引、被查询的向量V为value， ，即值、查询到的内容dk代表k的维度，除以k的维度的平方根，使训练时的梯度保持稳定 Q，K，V都是输入x经过经过线性变换得到的，和它们分别相乘的三个矩阵W是通过学习得到的矩阵，使用这样的线性变换可以提高的模型的拟合能力举一个例子有一个渣男，他有 n 个备胎，他想要从自己的备胎里寻找最符合自己期望的，好分配注意力和管理时间用 Q 表示择偶标准，K
注意力机制的理解（借鉴）
qq_43557445的博客
11-03 423
一、Encoder-Decoder框架 如图是在文本处理领域的Encoder-Decoder框架。 Encoder：对输入句子进行编码，通过非线性比变换转化为中间语义表示C Decoder：根据中间语义C和之前的历史信息，生成输出语句 每个yi都是依次产生的。 二、Soft Attention模型 上图中展示的Encoder-Decoder框架是没有体现出"注意力模型"的，可以看作是注意力不集中的分心模型。 从单词生成的过程中，可以发现无论生成哪个单词，都用到C，没有区别。而语义编码C是原句子经过
Transformer注意力机制的正则化技术解读
程序员光剑
04-24 1203
Transformer是第一个完全基于注意力机制的序列模型,不再依赖RNN或CNN的结构。它通过自注意力(Self-Attention)机制捕捉输入序列中任意两个位置的关系,从而有效地建模长期依赖关系。与RNN相比,Transformer具有并行计算的优势,大大提高了训练效率。模型压缩和加速: 大型Transformer模型计算成本高昂,因此模型压缩和推理加速是未来的重点研究方向。多模态Transformer: 将Transformer扩展到处理多种模态数据(如文本、图像、视频等),实现多模态融合和理解。
【图文详解】如何降低Transformer的计算复杂度：Transformer架构原理和改进自注意力机制
程序员光剑
07-12 473
一般而言，稀疏的自注意力矩阵表示输入序列的每一个位置能够显著地与序列中的有限个位置关联。当输入序列长度较小时，模型主要计算量来源于全连接层，其计算复杂度仍然是近似线性的。，即对输入序列中的每一个位置只计算其与一部分位置(而不是全部位置)之间的相关性，表现为注意力矩阵是稀疏的。的输入序列，其每一个位置都会和该序列的所有位置进行交互并计算注意力(相关度)，从而得到。的计算量主要来源于自注意力层，然而全连接层的计算量也不可忽略。，在处理短序列时线性注意力的计算可能会比标准自注意力的计算还要慢。
注意力机制attention和Transformer
qq_36523203的博客
09-30 7827
参考文献：https://zhuanlan.zhihu.com/p/146130215 文章目录一，注意力机制二，自注意力（self-attention）三，软注意力机制1，空域注意力2,通道注意力机制3，混合域模型4，Non-Local5,位置注意力机制四，强注意力机制 一，注意力机制 attention 机制可以认为是一种资源分配的机制，可以理解为对于原来平均分配的资源根据对象的重要程度重新分配资源，重要的单位多分一点，不重要不好的的少分一点，attention的资源分配方式就是权重。 视觉注意力分为几
超通俗理解注意力机制的原理与本质——结合日常生活来理解
u014439531的博客
07-29 1170
通俗理解注意力机制（attention）的原理与本质——结合日常生活
（转载）注意力机制中的Q、K和V的意义
Activewaste
06-01 6409
看到一篇解释，感觉还不错，后面深入理解了再来重新编辑一波 以翻译为例： source:我 是 中国人 target: I am Chinese 比如翻译目标单词为 I 的时候，Q为I 而source中的 “我” “是” “中国人”都是K， 那么Q就要与每一个source中的K进行对齐（相似度计算）；"I"与"我"的相似度，"I"与"是"的相似度；"I"与"中国人"的相似度； 相似度的值进行归一化后会生成对齐概率值（“I"与source中每个单词的相似度（和为1）），也可以注意力值； 而V代表每个.
[LLM] 自然语言处理 ----- Attention机制中的Q,K,V介绍
热门推荐
摩登都市天空---专栏
09-14 1万+
注意力机制就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。 Q就是词的查询向量，K是“被查”向量，V是内容向量。 简单来说一句话：Q是最适合查找目标的，K是最适合接收查找的，V就是内容，这三者不一定要一致，所以网络这么设置了三个向量，然后学习出最适合的Q, K, V，以此增强网络的能力。 因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义...
transformer简析
wangsiruiaori的博客
03-06 673
Transformer简析 除了传统的rnn与cnn外，在nlp领域中越来越的transformer模型逐渐进入人们的视野，他很好的解决了在自然语言处理中，rnn遇到的几个问题，包括不方便并行计算，记忆丢失等问题。相对于传统的nmt模型，transformer引进了attention机制，最终效果也非常好。 在这里说说我自己对模型的理解。 attention机制 对于传统的NMT来说，翻译的顺序是...
由注意力机制中scaled sqrt(dk)操作联想到期望与方差的本质推导
押波张飞的博客
09-20 950
在注意力机制文章中，作者在计算dot-product attention时，引入了一个，即之所以引入scaled因子，是让数据符合0均值、方差1的分布。因为qk内积操作后，数据期望为0、方差为d，那么softmax梯度会消失
self-attention（自注意力机制）
Algorithm的博客
08-10 1148
梯度指导着参数的更新方向，因此较大的梯度通常会导致较大的参数更新，从而加速训练。然而，如果梯度变得非常小，参数的更新幅度将会减缓，从而可能影响模型的训练速度和性能。“非常小的梯度区域” 指的是在优化算法中，模型参数的梯度值（即损失函数关于参数的变化率）非常接近于零的情况。点积后就会变得很大，这样就会将softmax函数推到具有非常小的梯度区域当中去，为了避免这种影响，所以除以。每一个都包含了全局信息，因为在计算过程中，这每一个b都是他自己的query和其他的key进行计算的得到的。由于他们都是公用一套。
Transformer 详细分析，学习总结
qq_41158484的博客
11-15 1507
Transformer深度学习网络的详细分析。Transformer其实就是由融合了注意力机制的编码器和解码器组成，如下图Transformer的总体模型框架。编码器将输入的句子变成机器学习可以理解的特征向量，并输入到解码器中作为 Keys 和 Values（解码器就直接根据输入获取query，然后输出结果）。
transformer 原理及源码
dmcdust的博客
07-14 764
左边encoder ，右边是decoder 图中是4维 ，论文中是512，x 乘 WQ，WK，WV（随机初始化）得到 q ，k，v。 为何要乘 WQ，WK，WV 而不直接使用qkv 首先增加参数可以增加学习能力，如果没经过 WQ，WK，WV，则qkv一般就固定的值，后面q 乘 k的时候，两个相似度大的向量会得到很大的值 ...
注意力机制中qkv的意义
最新发布
08-18
注意力机制是一种深度学习模型中用于处理序列数据的关键组件，特别是在Transformer架构中非常常见。它将查询（Query, Q）、键（Key, K）和值（Value, V）这三个概念结合起来： 1. **Q（Query）**：查询向量，通常是由输入数据经过编码生成的一组表示，用于确定每个位置的重要性。在自注意力模块中，查询用于寻找与之相关的其他位置的信息。 2. **K（Key）**：键向量，也是来自输入数据的表示，它的作用是计算查询与所有潜在关注点之间的相似度，通常通过点积操作进行计算。 3. **V（Value）**：值向量，类似于一个信息存储库，包含了原始输入序列的详细信息。当查询找到与某个键最匹配的位置时，对应的值会被选中并传递给下游环节。 注意力机制的核心思想是通过比较查询和所有关键向量的相似度，分配注意力权重，然后根据这些权重加权求和值向量，得到最终的上下文表示。这使得模型能够对输入中的重要部分给予更高的关注度。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值