Transformer系列专题（一）——self-attention自注意力机制如何计算

最新推荐文章于 2025-04-30 15:03:34 发布
最新推荐文章于 2025-04-30 15:03:34 发布
阅读量1.6k 收藏 28
点赞数 27
分类专栏： 深度学习 pytorch Transformer 文章标签： transformer 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73044854/article/details/139131633
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

自注意力机制的原理相当于一个词在其上下文中的联系，即将这一个词赋予这一句话中将每个词乘以不同的权重，即是这一个词对上下文的关系程度。
I am a student将本句话中的a对上下文的关系程度即为，将上下的词分别乘以不同的权重赋予到a词中，这就是a对上下问的关系程度。
接下来详细介绍自注意力机制如何计算？

一、总述

  • input输入thinking和machines两个词作为样例
  • 先对输入经过Embedding编码得到词向量
  • 想得到当前词语上下文的关系，可以当作是加权
  • 最后构建三个矩阵分别来查询当前词跟其他词的关系，以及特征向量的表达。

在这里插入图片描述

二、如何计算self-attention

  • 三个需要训练的矩阵
    • Q：query，要去查询的
    • K：key，等着被查的
    • V：value，实际的特征信息

在这里插入图片描述

即设X矩阵有x1和x2两个向量，经过各自的权重矩阵相乘后得到各自的特征矩阵。
在这里插入图片描述

  • q与k的内积表示有多少匹配度
  • 输入两个向量得到一个分值
  • K：key，等着被查的
  • V：value，实际的特征信息

在这里插入图片描述

  • 其中上述的q1 × \times ×k1和q1 × \times ×k2内积的结果分别为第一个词和第一个词的匹配程度和第一个词与第二个词的匹配程度，这两个都是对第一个词的计算不是第二个的。

三、softmax归一处理

  • softmax函数是一种将多分类问题转化为每一类是多少概率的函数，范围在 0 − 1 0-1 0−1。
  • 首先回忆一下以前的softmax。softmax又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是
    在这里插入图片描述
    在这里插入图片描述
    那么在本文中softmax的计算和作用如下：
  • 将第二步的最终得分经过softmax就是最终上下文结果
  • Scaled Dot-Product Attention 不能让分值随着向量维度的增加而增大
  • 本文的计算公式如下：
    在这里插入图片描述
  • 最后输出结果如下图：
    计算一句话中一个词与本句话中所有词的关系程度也就是内积然后进行softmax归一化，将得到的这个词对每个词的关系概率乘以各自的V向量最终输出本词的Attention Value。
    在这里插入图片描述

Attention整体计算流程

  • Attention计算流程
  • 每个词的Q都会跟每一个K计算得分
  • Softmax后得到整个的加权结果（假设下面的词的维度为64维）
  • 此时每个词看的不只是它前面的序列而是整个输入序列
  • 同以时间计算出所有词的表示结果
    在这里插入图片描述
Transformer自注意力机制（Self-Attention）模型
Jeremy程序员
07-06 2万+
自注意力机制是现代自然语言处理模型（如Transformer）的核心，具有处理并行化、捕捉长距离依赖和灵活性强等优点。通过多头注意力机制，自注意力模型能够有效地捕捉序列中的多种特征，广泛应用于机器翻译、文本生成、文本分类和问答系统等任务。
NLP学习—21.自注意力机制（Self-Attention）与Transformer详解
柳杰的博客
09-02 1万+
文章目录引言一、Structure of Transformers二、Encoder Structure三、Self-attention and multi-head self-attention1.Self-attention2.multi-head self-attention四、Residuals , Add and Layer-Normalization五、Decoder structure of Transformer六、Mask self-attention七、 Encoder-decoder
超详解！Transformer + self-attention
idol24的博客
12-04 2280
‍‍点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！来源https://zhuanlan.zhihu.com/p/432814387作者Ziyang Li 东北电力大...
Transformer的数学基础之Softmax
qq191513的博客
09-08 1509
​ 可以看出，三个值的差异已经不是一个量级了，输出的第1、2个值量级特别大，基本为0，第三个值为1。我们课看到输入的参数也才2倍、3倍的差别，而输出却是0，0，1。也就是说，在数量级较大时，​ 可以看出，这向量的三个值还是比较近的，输入是小微变化，而输出也是小微变化，符合我们要的归一化。​ 可以看出，尽管输入值差别不大，但是结果的差距速度拉大了。​ 可见，输入太大，会把结果变得十分陡峭，导致落在。的极端区域，趋于0或者1，而且在极端区域的。函数的梯度值趋于0，不利于模型学习。
在attetion计算中为什么要softmax
yxx122345的博客
03-10 970
归一化：将相似度分数转换为概率分布。聚焦性：放大高分值，抑制低分值，使模型聚焦于重要部分。可解释性：权重具有明确的概率意义，便于理解和分析。Softmax是注意力机制中不可或缺的一部分，确保了模型能够有效地分配注意力资源。
【NLP自然语言处理】深入探索Self-Attention：自注意力机制详解
2301_76820214的博客
11-08 2292
训练上的意义: 随着词嵌入维度d_k的增大, q * k 点积后的结果也会增大, 在训练时会将softmax函数推入梯度非常小的区域, 可能出现梯度消失的现象, 造成模型收敛困难.数学上的意义: 假设q和k的统计变量是满足标准正态分布的独立随机变量, 意味着q和k满足均值为0, 方差为1. 那么q和k的点积结果就是均值为0, 方差为d_k, 为了抵消这种方差被放大d_k倍的影响, 在计算中主动将点积缩放1/sqrt(d_k), 这样点积后的结果依然满足均值为0, 方差为1.
Transformer相关学习资料整理
l8947943的博客
12-12 564
最近频繁看到论文中用到transformer，于是又回头看了看曾经经典的大作。以前只知道大致流程，本次死磕一波，好好梳理细节和内容，因网上大部分资料讲的内容都不错，遂做整理。 1. Transformer相关内容 变形金刚——Transformer入门刨析详解 【Transformer】一文搞懂Transformer | CV领域中Transformer应用 图解Transformer | The Illustrated Transformer，这篇文章做的很用心 李宏毅2022讲解transformer
Self-Attention 自注意力机制（二）——实例过程说明
qiaoxinyu1989的博客
07-16 1631
嵌入层的数学表达通常如下： Embedding(w)=E×w 其中，𝑤 是离散的输入单词或标记，𝐸是嵌入权重矩阵，Embedding(𝑤)是单词 𝑤的连续向量表示。在深度学习框架中，自注意力机制可以通过多头注意力（Multi-Head Attention）进一步扩展，其中模型并行地执行多个自注意力层，每个层学习到序列的不同表示子空间，最终将这些表示合并，以捕获更丰富的信息。这意味着对于词汇表中的每个单词，都有一个长度等于词汇表大小的向量，其中只有一个位置是1（表示该单词），其余位置都是0。
【Transformer】自注意力机制Self-Attention ｜ 各种网络归一化Normalization
RickieLim的博客
08-08 4793
Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。
自注意力机制（Self-Attention）
极光喵的博客
03-02 2432
这是符合常理的，因为一句话中的每个单词重要程度是不一样的，从语法角度说，主谓宾语比其它句子成分更重要，self-attention机制就是模型尝试学习句子成分重要程度的方法。它将传递给神经网络的向量是三个单词中每个单词的向量乘以它们的权重分数的总和（这里忽略了那些权重分数低的不重要的单词）。为每个token创建q,k,v向量的过程如下，其中Wq，Wk和Wv矩阵可以看成神经网络层的参数，也就是说我们可以将token x经过神经网络层的映射得到对应的q,k,v向量。生成的向量是可以发送到前馈神经网络的向量。
Self-Attention机制的计算详解
qq_41915623的博客
06-07 2万+
​ 个人理解，就是对参数进行“加权求和”。​ 其中，XXX表示输入的数据，Q,K,VQ,K,VQ,K,V对应内容如图，其值都是通过XXX和超参（先初始化，后通过训练优化）进行矩阵运算得来的。​ 结合代码进行理解：Step1： 初始化WQ,WK,WVW^Q , W^K,W^VWQ,WK,WV矩阵 ​ 假设三种操作的输入都是同等维度的矩阵，这里每个特征维度都是768.即三者的维度： WQ.shape=[768,768]WK.shape=[768,768]WV.shape=[768,768] W^Q.sh
Transformer模型-用jupyter演示逐步计算attention
Ankie资深技术项目经理
03-30 866
学习transformer模型-用jupyter演示如何计算attention，不含multi-head attention，但包括权重矩阵W。
Transformer+self-attention超详解（亦个人心得）
weixin_40920183的博客
11-30 1169
来源：https://zhuanlan.zhihu.com/p/432814387作者：Ziyang Li 来自东北电力大学，机器人工程专业本文仅作学术分享，著作权归属作者，侵删最近刚开始...
transformer中attention计算方式_图解Transformer
weixin_39885166的博客
11-09 1151
前言 在上一篇文章中，介绍了Attention机制，一种在现代深度学习模型中无处不在的方法。Attention是一个有助于提高神经机器翻译应用程序性能的概念。在这篇文章中，我们将介绍The Transformer--一个使用注意力来提高这些模型训练速度的模型。The Transformer在特定任务中优于Google神经机器翻译模型。然而，最大的好处来自于Transformer可以并行化的提...
self-attention与softmax的推导
CSDNXXCQ的博客
01-29 1064
该机制的作用在于让计算机实现通过对上下文的判断理解某个词在该句子意义中的占比 比如： The animal didn’t cross the street because is was too tired. 我们要判断该句子中的it在改句子意义上的分量 那么我们就要知道 the,animal,didn’t,cross在该句中与it的联系 原理: 1将句子的单词进行位置编码，比如 The→0 animal→1 然后构建向量矩阵 2得到该词与该句子中其他词的关系(联想加权评分) 3构建三个矩阵分别查询当前词与
Self-attention中为什么softmax要除d_k
panxin801的博客
10-14 3681
我觉得这是一个很有意思的问题，简单但是很细节。先说结论，是为了保证梯度的平稳。那怎么个意思？ 首先说向量（行向量和列向量都一样），他们的点乘和叉乘。 向量的内积：也叫点乘，结果是一个数。两个向量对应位相乘再求和。要求向量a和b的维度要一样。 a⃗∗b⃗=(a1∗b1+a2∗b2+⋯+an∗bn) \vec{a}*\vec{b}=(a_1*b_1+a_2*b_2+\cdots+a_n*b_n) a∗b=(a1​∗b1​+a2​∗b2​+⋯+an​∗bn​) 内积的几何意义：计算两个向量之间的夹角或者向量b在向
transformer 模型（self-attention自注意力）
热门推荐
ChihkAnchor的博客
01-08 7万+
transformer模型在《Attention is all you need》论文中提出 这篇论文主要亮点在于：1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。2）提出了多头注意力（Multi-headed attention）机制方法，在编码器和解码器中大量的使用了多头自注意力机制（Multi-headed s...
在深度学习中，什么是线性插值（linear interpolation）？
最新发布
weixin_44649780的博客
04-30 367
线性插值是寻找两个点之间中间值的最基础方法之一，广泛应用于：数值计算计算机图形学机器学习和深度学习它的标准公式是：x0,x1∈Rn：两个向量或标量t∈[0,1]：插值系数（0 表示完全靠近 x0，1 表示完全靠近 x1​）它对应的是两个点之间的一条线段轨迹。线性插值就是“在两个已知点之间，按一定比例找到中间点”的方法，无论是图像、特征、模型参数，它都可以用来“平滑地过渡”。📢 想要了解更多内容，可在VX小程序搜索🔍AI Pulse,获取更多最新内容。
Self-AttentionSelf-Attention做的事情就是取代RNN原本要做的事情。关键： 有一种新的layer—— Self-Attention，输入输出与RNN一样，都是sequence。特别的地方在于
03-04
### Self-Attention机制概述 Self-Attention机制是一种广泛应用于自然语言处理任务的技术，尤其在Transformer架构中得到体现。这种机制允许模型通过计算输入序列中不同位置之间的相互影响来捕捉全局依赖关系[^1]。 具体来说，在传统的循环神经网络(RNN)结构里，信息按顺序逐个传递并累积；而Self-Attention则打破了时间维度上的线性约束，使得任意两个token可以直接建立关联。这不仅提高了并行化程度，还增强了对于长距离依赖的学习能力。 #### 工作原理 在一个典型的Self-Attention实现中，每个输入向量会被映射成三个新的向量——Query(查询)，Key(键)，Value(值)[^3]： ```python import torch.nn as nn class MultiHeadedAttention(nn.Module): def __init__(self, h, d_model, dropout=0.1): super(MultiHeadedAttention, self).__init__() assert d_model % h == 0 # We assume d_v always equals d_k self.d_k = d_model // h self.h = h self.linears = clones(nn.Linear(d_model, d_model), 4) self.attn = None self.dropout = nn.Dropout(p=dropout) def forward(self, query, key, value, mask=None): ... ``` 接着利用这些向量组合形成注意力分数矩阵，并据此调整原始特征表示。最终输出的结果保留了原有时序特性的同时也融入了来自其他位置的重要信息。 #### 特点对比 相比于RNN系列方法（如LSTM），Self-Attention具有以下几个显著优势[^2]: - **无方向性**：不像RNN那样受限于单向或双向传播路径； - **高效性**：能够在一次操作中完成整个序列内部节点间的交互运算； - **灵活性**：更容易扩展到多头形式以增强表达力； - **可解释性强**：可以通过可视化工具直观展示词语间的关系强度分布情况。 尽管如此，值得注意的是，两者并非完全对立的选择，而是各有适用场景。例如当面对非常规长度变化较大的文本片段时，基于门控单元设计的LSTM可能仍具备一定竞争力。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

算法小白（真小白）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值