self-attention为什么要除以根号d_k

最新推荐文章于 2025-03-21 08:48:43 发布
最新推荐文章于 2025-03-21 08:48:43 发布
阅读量1.6w 收藏 32
点赞数 20
分类专栏： 自然语言处理 数据挖掘 推荐系统 文章标签： 深度学习 cnn 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suibianshen2012/article/details/122141294
版权
层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
02-10 2万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
图解Self-Attention和代码实现，大语言模型基础思维导图
Ace_bb的博客
09-16 1375
自注意力机制(Self-Attention)虽然强大，但在实际应用中也存在一些问题，以下是一些主要问题以及相应的解决方案:1.
Attention为什么要除以根号d
qq_50988647的博客
06-09 2391
我们知道，attention结构中注意力得分的计算公式为，其中分别表示及其维度，那么为什么在计算score的时候要除以呢？这个问题比较考验各位同学的数学功底，我将从自己理解的角度进行分析，欢迎大家评论指正。
self Attention为何除以根号dk？（全新角度）
weixin_74152658的博客
03-21 716
self Attention为何除以根号dk？
为什么要除以根号dk？
weixin_45422672的博客
02-01 539
在Self-Attention机制中，除以根号dk（即Key向量的维度）是为了防止点积结果过大，从而导致梯度消失或爆炸的问题。
为什么我们在自我注意力中通过sqrt(dk)来划分注意力分数？
asd8705的专栏
07-06 512
当我们使用自我注意力时，我们需要确保表示句子中某一部分应得到的关注程度的数字既不太大也不太小。为了实现这一点，我们将这些注意力分数除以决定注意力所使用的项数的平方根，称为“键向量”。
Self-attention中为什么softmax要除d_k
panxin801的博客
10-14 3672
我觉得这是一个很有意思的问题，简单但是很细节。先说结论，是为了保证梯度的平稳。那怎么个意思？ 首先说向量（行向量和列向量都一样），他们的点乘和叉乘。 向量的内积：也叫点乘，结果是一个数。两个向量对应位相乘再求和。要求向量a和b的维度要一样。 a⃗∗b⃗=(a1∗b1+a2∗b2+⋯+an∗bn) \vec{a}*\vec{b}=(a_1*b_1+a_2*b_2+\cdots+a_n*b_n) a∗b=(a1​∗b1​+a2​∗b2​+⋯+an​∗bn​) 内积的几何意义：计算两个向量之间的夹角或者向量b在向
会员中心 消息历史创作中心创作self-attention为什么要除以根号d_k想念@思恋已于 2023-10-26 20:55:40 修改阅读量2.3w 收藏 71点赞数 52分类专栏： python编程 文章标签： 概率论 深度学习 机器学习版权GitCode 开源社区文章已被社区收录加入社区python编程专栏收录该内容139 篇文章订阅专栏self-attention的公式为a t t e n t i o n ( Q , K , V ) = S o f t m a x ( Q K d k ) V attention(Q,K,V)=Softmax( \frac{QK}{\sqrt{d_{k}}})Vattention(Q,K,V)=Softmax( d k​ ​ QK​ )V个人理解，除以d k \sqrt{d_{k}} d k​ ​ 的原因有两点：d k d_{k}d k​ 是词向量/隐藏层的维度1、首先要除以一个数，防止输入softmax的值过大，导致偏导数趋近于0；2、选择根号d_k是因为可以使得q*k的结果满足期望为0，方差为1的分布，类似于归一化。公式分析，首先假设q和k都是服从期望为0，方差为1的独立的随机变量。Assume：X = q i X=q_{i}X=q i​ ，Y = k i Y=k_{i}Y=k i​ ，那么：1、E ( X Y ) = E ( X ) E ( Y ) = 0 ∗ 0 = 0 E(XY)=E(X)E(Y)=0*0=0E(XY)=E(X)E(Y)=0∗0=02、D ( X Y ) = E ( X 2 Y 2 ) − [ E ( X Y ) ] 2 D(XY)=E(X^{2}Y^{2})-[E(XY)]^{2}D(XY)=E(X 2 Y 2 )−[E(XY)] 2       = E ( X 2 ) E ( Y 2 ) − [ E ( X ) E ( Y ) ] 2 =E(X^{2})E(Y^{2})-[E(X)E(Y)]^{2}=E(X 2 )E(Y 2 )−[E(X)E(Y)] 2       = E ( X 2 − 0 2 ) E ( Y 2 − 0 2 ) − [ E ( X ) E ( Y ) ] 2 =E(X^{2}-0^{2})E(Y^{2}-0^{2})-[E(X)E(Y)]^{2}=E(X 2 −0 2 )E(Y 2 −0 2 )−[E(X)E(Y)] 2       = E ( X 2 − [ E ( X ) ] 2 ) E ( Y 2 − [ E ( Y ) ] 2 ) − [ E ( X ) E ( Y ) ] 2 =E(X^{2}-[E(X)]^{2})E(Y^{2}-[E(Y)]^{2})-[E(X)E(Y)]^{2}=E(X 2 −[E(X)] 2 )E(Y 2 −[E(Y)] 2 )−[E(X)E(Y)] 2       = [ E ( X 2 ) − [ E ( X ) ] 2 ] [ E ( Y 2 ) − [ E ( Y ) ] 2 ] − [ E ( X ) E ( Y ) ] 2 =[E(X^{2})-[E(X)]^{2}][E(Y^{2})-[E(Y)]^{2}]-[E(X)E(Y)]^{2}=[E(X 2 )−[E(X)] 2 ][E(Y 2 )−[E(Y)] 2 ]−[E(X)E(Y)] 2       = D ( X ) D ( Y ) − [ E ( X ) E ( Y ) ] 2 =D(X)D(Y)-[E(X)E(Y)]^{2}=D(X)D(Y)−[E(X)E(Y)] 2       = 1 ∗ 1 − 0 ∗ 0 =1*1-0*0=1∗1−0∗0      = 1 =1=1
最新发布
04-06
### Self-Attention 中除以根号 \( d_k \) 的原因 在 self-attention 机制中，查询向量 \( Q \) 和键向量 \( K \) 的点积结果会被除以 \( \sqrt{d_k} \)，其中 \( d_k \) 是键向量的维度。这一操作的主要目的是为了...
学习笔记之Transformer Self-Attention机制
zqm_0015的博客
01-09 3649
Transformer 台大李宏毅教授链接 Self-Attention 传统RNN不容易平行化，比如b4就得知道a1，a2，a3，a4才能算出来 使用CNN可以实现平行化，比如图中的一个黄三角形代表一个filter，他可以并行执行的。 在更高层filter的layer可以获取到更长的信息，比如蓝三角形，它的输入时第一层的输出 Self-Attention可以替代双向RNN 可...
从头理解self-attention机制
qq_42368281的博客
01-18 2867
注意力机制中较为重要的是self-attention机制，直接做了个小白能看懂的总结，也便于自己复习。
Transformer详解(3-1)-attention为什么要除以根号d
weixin_40566713的博客
06-03 556
attention的计算公式，为什么要除以根号d?
为什么self-attention要除以一个根号dk
我的备忘录
05-24 626
太one-hot了，这里的梯度直接全部到0，就太小了。我愿称之为softmax陷阱，就和sigmoid一样，你以为one-hot好，事实上谁知道呢，比起任由self-attention只关注一个v，还是看看远方的其他v更好吧。这样看，如果浅层网络已经提取到足够的信息了，后面的所有v都将与最有价值的v趋于一致，否则就会因为根号dk强制多see几个而引入不必要的v。这本应是好的，但是从实践来看，我们并不要求一定要输出one-hot，这有点over-fitting的感觉了。是softmax的结果。
transfomer中attention为什么要除以根号d_k
zwhdldz的博客
06-01 1618
得到矩阵 Q, K, V之后就可以计算出 Self-Attention 的输出了，计算的公式如下: Attention(Q,K,V)=Softmax(QKTdk)V Attention(Q,K,V)=Softmax(\frac{QK^T}{\sqrt{d_k}})V Attention(Q,K,V)=Softmax(dk​​QKT​)V除以维度的开方,可以将数据向0方向集中,使得经过softmax后的梯度更大. 从数学上分析,可以使得QK的分布和Q/K保持一致,对于两个独立的正态分布而言，两者的加法的期望和
【每日一问】transformer中的self-attention中为什么要除以dk？
weixin_44006686的博客
10-30 513
为什么要除以dk？
transformer中的缩放点积注意力为什么要除以根号d
weixin_45610907的博客
12-04 5180
前段时间在看transformer的时候，看到他的self-attention机制的公式里需要除以维度的算术平方根，想了一会没有想明白。回去看原论文。作者认为，当d较大时，点积的幅度也就变大，容易进入softmax函数的梯度消失区域。什么叫点积的幅度变大？这里作者指的应该是方差会变大。点积之后，数据的方差会改变，不等同于原分布。这就需要我们进行一个操作使方差等同于原分布。假设原分布是标准正态分布，那为什么需要除以根号d来归一化到标准正态分布呢？我尝试自己推导一下公式。
大模型算法岗面试题系列（七十二）| Self-attention的公式及参数量？为什么用多头？为什么要除以根号d？
Code1994的博客
09-08 796
Self-attention，也称为自注意力，是一种在自然语言处理和其他序列建模任务中广泛使用的机制。Self-attention的计算可以分为三个步骤：计算查询（Q）、键（K）和值（V），然后计算注意力权重，最后进行加权求和。多头注意力机制是将输入分割成多个“头”，每个“头”都有自己的权重矩阵WQ, WK, WV，可以捕捉到输入序列的不同部分和不同方面的信息。
大模型算法工程师经典面试题：为什么在softmax之前要对attention进行scaled（为什么除以 d_k的平方根）？”
Code1994的博客
08-27 998
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值