【深度学习的骨架与脉搏】注意力机制（三）（不同注意力机制对比）

已于 2025-04-14 11:24:51 修改
阅读量5.5k 收藏 97
点赞数 59
分类专栏： 《深度学习理论直觉三十讲》 文章标签： 深度学习 人工智能 transformer 注意力机制
于 2024-04-24 09:12:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67656158/article/details/138117621
版权
本文详细解读了注意力机制的本质，强调其作为方法群体的父类，区分了自注意力和交叉注意力，并指出注意力机制对QKV的限制主要在于操作方法。文章还讨论了自注意力在单一序列分析中的优势和交叉注意力在多模态任务中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【深度学习的骨架与脉搏】注意力机制（四）（多头注意力机制）
十二月的猫
04-28 7577
前文，我们介绍了自注意力机制：自注意力的QKV是同源的。同源的好处就是更容易发现序列内部的信息，但是也存在一些可以改进的地方。例如：对于一个待分析的序列矩阵，它存在许多方面的特征。此时我们要用一个参数矩阵Wq、Wk去分析并学习出序列中的这么多特征。由于参数矩阵的维度是有限的，所以一次性学习多特征的信息必然会造成信息学习的模糊性，所以作者又提出了多头注意力机制下图为多头注意力机制模型图：它为注意力机制提供了多个投射子空间的可能。
YOLOv5-6.1添加注意力机制（SE、CBAM、ECA、CA）消融实验结果对比
zhouzongzong的博客
07-09 6166
YOLOv5-6.1添加注意力机制（SE、CBAM、ECA、CA）消融实验结果对比
【深度学习33】-自注意力、交叉注意力
weixin_43899239的博客
12-02 257
**交叉注意力（Cross-Attention）**：Query来自一个序列（例如解码器的输出或一个模态的特征），而Key和Value来自另一个序列（例如编码器的输出或另一个模态的特征）。它用于建立两个不同输入序列之间的关联，并计算注意力权重。- **交叉注意力**：多用于多模态学习或跨序列分析，如机器翻译中源语言和目标语言之间的相关性捕捉、问答任务中问题和答案之间的相关性分析。- **自注意力**：主要用于单一序列的内部分析，如语言模型中的句子编码、图像处理中的自相关特征提取。
自注意力（Self-Attention） vs 交叉注意力（Cross-Attention）
weixin_54259684的博客
03-20 420
是两种常见的注意力机制，它们的主要区别在于。在 Transformer 结构中，
三种Transformer模型中的注意力机制介绍及Pytorch实现：从自注意力到因果自注意力
python1234567_的博客
10-16 1202
自注意力机制自2017年在开创性论文《Attention Is All You Need》中被提出以来，已成为最先进深度学习模型的核心，尤其是在自然语言处理（NLP）领域。考虑到其广泛应用，深入理解自注意力的运作机制变得尤为重要。图1：原始Transformer架构在深度学习中，"注意力"概念的引入最初是为了改进递归神经网络（RNNs）处理长序列或句子的能力。例如，在机器翻译任务中，逐字翻译通常无法捕捉语言的复杂语法和表达方式，导致翻译质量低下。
mask rcnn算法分析_注意力模型RPN（faster-rcnn）与APN(RA-CNN）对比精析
weixin_39628256的博客
11-21 1419
文章有些长，建议收藏后慢慢看。细粒度图像分类仍然是一个可以出文章的课题。做这个方向的人，我觉得可以好好琢磨注意力机制。注意力机制的本质跟人眼的工作原理是相近的，因而可以让机器更智能。学习就是一个建立知识树的过程。网上有很多文章都只是树身上树干上的一个小枝干，所以不能给你建立一个完整的知识体系树。今天我这篇文章也只是一个小枝干。我力争让大家能够窥一斑而知全豹。Faster-rcnn和RA-CNN两篇...
深度学习建模训练总结（五）：梳理NLP发展里程碑——各种注意力机制对比分析
jesseyule的博客
09-17 6780
之前提到，seq2seq的一大缺点是单一的语义向量难以表达长序列的完整语义，而改善这一问题的一个有效方法就是结合注意力机制，在不同的时刻针对输出计算包含不同语义的语义向量： 所谓注意力机制，本质上就是在分析过程中引入权重，在本文，我主要介绍两种注意力计算框架：原始的计算框架和multi-head attention，从原始的框架中又进一步划分为：soft attention（key=value）、soft attention（key!=value）、self-attention（query=key=va.
【深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别
UESTC_201722的博客
03-24 1万+
最近以QA形式写了一篇nlp中的Attention注意力机制+Transformer详解 分享一下自己的观点，目录如下：一、Attention机制剖析1、为什么要引入Attention机制？2、Attention机制有哪些？（怎么分类？）3、Attention机制的计算流程是怎样的？4、Attention机制的变种有哪些？5、一种强大的Attention机制：为什么自注意力模型（self-Atte...
常见注意力机制原理介绍与对比
linchuhai的博客
02-13 2万+
1. 引言     自从2014年Seq2Seq提出以来，神经机器翻译取得了很多的进展，但是大部分模型都是基于encoder-decoder的结构，这就要求encoder对于输入序列的编码能力要足够强，才能确保得到的输入序列的上下文向量能够尽可能地保留输入序列的信息。而我们知道，随着句子的长度逐渐变长，上下文向量的表达能力其实是会逐渐下降的，因为它没法完全保留输入序列的大部分信息。因此，为了克服...
注意力机制变体大比拼：Self/Cross/Efficient/Deformable Attention性能对比
2401_88760782的博客
03-20 425
在某些情况下，你可能需要设计自定义的注意力机制。# 自定义注意力机制模板# 1. 定义投影矩阵# 2. 定义其他必要组件# 3. 自定义组件# 默认为自注意力# 1. 投影# 2. 自定义注意力计算# 3. 输出投影# 在子类中实现具体的注意力计算逻辑使用这个模板，你可以通过继承并实现# 示例：自定义混合注意力机制# 创建不同类型的注意力计算器# 根据序列长度动态选择注意力机制# 短序列使用标准注意力else:# 长序列使用高效注意力。
【深度学习的骨架与脉搏】注意力机制（一）（基本思想）
十二月的猫
04-19 2433
神经网络中的注意力机制（Attention Mechanism）是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。在神经网络学习中，一般而言模型的参数越多则模型的表达能力越强，模型所存储的信息量也越大，但这会带来信息过载的问题。那么通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。
深入理解图注意力机制（Graph Attention Network）
04-21
图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。
【深度学习的骨架与脉搏】注意力机制（二）（自注意力机制）
十二月的猫
04-19 1890
自注意力机制最关键的点在于：K、Q、V来源于同一个X，这三者是同源的现在外界只提供一个待查询对象X，我们需要从这个对象中提炼出板块分配K， 爱好信息Q，以及实际查询对象V提炼的方式：1、分配三个参数给Q、K、V2、通过监督学习提供的大量数据，来学习的值3、实现通过内部数据学习得到三个信息。
【深度学习的骨架与脉搏】语义分割的卷积神经网络·U-Net
最新发布
十二月的猫
04-14 1458
这篇深度学习文章深入解析U-Net架构——语义分割领域的里程碑式卷积神经网络。文章从U-Net独特的对称编码器-解码器结构出发，详解其跳跃连接机制如何有效融合浅层细节与深层语义特征，实现像素级精准分割。通过剖析经典医学图像分割案例，展示U-Net在有限数据下表现优异的秘密，同时探讨其在工业检测、自动驾驶等领域的创新应用。读者将掌握U-Net的核心设计思想。
深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别
青灵_Yaffa的博客
11-23 490
【深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别转载 [各种注意力机制](https://zhuanlan.zhihu.com/p/376929247)本次更新主要包含了三个方面： 转载 各种注意力机制 论文 ：https://arxiv.org/abs/2105.02358 代码：https://github.com/MenghaoGuo/-EANet 本次更新主要包含了三个方面： 加入了 multi-head ex
【面试】Cross Attention 和 Self Attention 主要的区别是什么？
Lewiz_124的博客
09-07 2475
是 Transformer 架构中的核心机制，主要用于捕捉。
【深度学习实验】注意力机制（四）：点积注意力与缩放点积注意力之比较
天地玄黄 魑魅魍魉 风花雪月 商角徵羽
11-21 1490
本文介绍了注意力机制中的点积注意力与缩放点积注意力模型之比较
注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
2401_84494441的博客
02-24 1709
举几个栗子：看人–>看脸看文章–>看标题看段落–>看开头这时候大家应该大致知道注意力机制是个什么东西了吧~注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
热门推荐
路人贾的博客
04-17 13万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
通俗易懂的讲一下注意力机制的原理
02-26
<think>嗯，用户让我用中文通俗易懂地介绍一下注意力机制的原理。首先，我需要确定用户可能的背景。他们可能对深度学习有一定的了解，但可能不是特别深入，所以需要用简单明了的例子来解释。 注意力机制，这个术语听起来有点抽象，我得找个日常生活中的比喻。比如，人在看东西的时候，不会同时关注所有细节，而是聚焦在重要的部分。比如看一张脸，可能会先看眼睛、嘴巴，这类似于注意力机制中的“权重分配”。 接下来，我需要解释在机器学习中的应用。比如机器翻译，处理句子的时候，模型需要知道哪些词更重要。比如“猫坐在垫子上”，翻译时“猫”和“垫子”是关键，而“在”可能权重较低。这时候，模型会给这些词不同的注意力权重。 可能用户还想知道注意力机制的结构。比如，Query、Key、Value的概念。这部分可以用信息检索来比喻，Query是问题，Key是数据库的索引，Value是实际内容。计算相似度后分配权重，再汇总Value。 还要提到自注意力，比如在Transformer中的应用。自注意力让模型处理每个词时，考虑句子中其他词的关系，比如“它”指代前面的某个名词，通过自注意力机制找到关联。 需要注意避免技术术语过多，多用例子。同时，可能需要区分注意力机制和传统方法的不同，比如RNN处理长序列的困难，注意力如何解决长距离依赖问题。 最后，总结注意力机制的核心思想：选择性关注重要信息，动态调整权重，提高模型效率。确保用户理解其优势和应用场景，比如在翻译、文本生成中的作用。 检查有没有遗漏的关键点，比如计算步骤的简单说明，或者为什么注意力机制有效。可能需要提到权重是通过softmax计算的，确保总和为1，这样模型可以明确关注哪些部分。 总之，用比喻和简单例子，逐步引导用户理解注意力机制的基本原理，避免数学公式，保持口语化，同时覆盖关键概念如Query、Key、Value，自注意力，应用场景等。</think>好的！我用一个生活中的比喻来解释注意力机制，保证通俗易懂👇 --- 想象你在超市里找一瓶老干妈辣酱： 1. **眼睛快速扫视货架**（扫描所有信息） 2. **自动忽略饮料、零食**（过滤不重要信息） 3. **突然锁定红色瓶身+陶华碧头像**（聚焦关键特征） 4. **走近确认标签**（对重点信息深度分析） 这就是人脑的"注意力"——**把有限的精力集中在最关键的地方**。 --- **在AI中的工作原理**： 1. **看全场**：模型先接收所有输入信息（比如一整句话） 2. **打分系统**：给每个字/词打"重要程度"分 - 例：翻译"我爱北京天安门"时，"天安门"得分会比"的"这种助词高 3. **加权汇总**：重要的信息获得更高权重，就像用聚光灯照亮关键区域 4. **动态调整**：不同任务关注点不同，比如情感分析会更注意"喜欢/讨厌"这类词 --- **举个真实例子**： 翻译句子："The cat sat on the mat, which was handmade." - 普通模型：可能平均处理每个词 - 带注意力的模型： - 看到"cat"时，重点关注"mat"（知道猫在垫子上） - 处理"handmade"时，意识到它修饰的是"mat" - 结果：更准确翻译出"那只猫坐在手工编织的垫子上" --- **为什么需要它**： - 传统神经网络像平均主义者：对所有信息一视同仁 - 注意力机制像精明侦探：知道该重点关注什么线索 - 特别适合处理长文本（比如段落翻译）、多模态数据（图文匹配）等复杂场景 --- **一句话总结**： 注意力机制就是让AI学会"抓重点"的智能开关，像人一样动态分配注意力资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十二月的猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值