【深度学习】注意力机制的改进：稀疏注意力、局部注意力、低秩/线性注意力

最新推荐文章于 2025-03-31 17:13:10 发布
最新推荐文章于 2025-03-31 17:13:10 发布
阅读量2.2k 收藏 32
点赞数 14
分类专栏： 深度学习机器学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x1131230123/article/details/140121973
版权

文章目录

稀疏注意力

稀疏注意力（Sparse Attention）是一种通过选择性地处理部分token来减少整体计算负荷的方法。这在自然语言处理和计算机视觉中的注意力机制中尤为重要，因为它可以显著降低计算复杂度和内存使用。

在标准的全连接注意力机制中，每个token（词或图像patch）都与其他所有token计算注意力权重，这会导致计算复杂度为 O ( N 2 ) O(N^2) O

了解本专栏 订阅专栏 解锁全文
ELA：深度卷积神经网络的高效局部注意力机制
AI浩
04-05 2002
注意力机制由于其能够有效提升深度神经网络性能的能力，在计算机视觉领域获得了广泛认可。然而，现有方法往往难以有效利用空间信息，或者在利用空间信息的同时会牺牲通道维度或增加神经网络的复杂性。为了解决这些局限性，本文提出了一种高效的局部注意力（ELA）方法，该方法以简单的结构实现了显著的性能提升。通过分析坐标注意力方法的局限性，我们发现了批量归一化缺乏泛化能力、维度减少对通道注意力的不利影响以及注意力生成过程的复杂性等问题。为了克服这些挑战，我们提出了将一维卷积和组归一化特征增强技术融入ELA的方法。
手把手带你 YOLOv5/v7 添加注意力机制（并附上30多种顶会Attention原理图）2024/2/5更新
热门推荐
YOLOv8项目贡献者
04-27 20万+
YOLOv5/v7 添加注意力机制教程 2023/6/15更新🍀🍀🍀
【深度学习知识点38】注意力机制
weixin_43899239的博客
12-04 660
指的是模型在处理输入序列时，能够根据序列中不同位置元素之间的相关性动态地调整对每个元素的关注程度，从而捕捉序列内部的复杂依赖关系。这种机制结合了卷积的局部感受野特性和自注意力的动态特征选择能力。：通过计算序列中不同位置元素之间的相关性得分，自注意力机制生成新的序列表示。：自注意力机制能够并行处理输入序列的元素，并直接关注输入序列中所有位置的元素，这使得模型具备了建模长距离依赖关系的能力。：最后，模型使用注意力权重与值向量相乘以获得最终输出，这一过程体现了模型根据注意力得分动态选择特征的能力。
局部-全局注意力（Local-Global Attention）
百态老人的博客
02-22 1214
它通过分阶段处理局部细节和全局上下文，显著降低了传统注意力机制（如Transformer）的复杂度，适用于基因组、自然语言、时序分析等超长序列场景。在基因组中，局部窗口可聚焦于外显子或调控元件（如CTCF结合位点），捕捉密码子偏好性或剪切信号。局部窗口的表示作为Query，全局关键点的表示作为Key/Value，生成融合特征。将序列分割为固定长度（如256个token）的局部窗口，每个窗口独立计算注意力。将局部注意力输出与融合后的全局特征相加，保留多尺度信息。（捕捉上下文），分阶段融合信息，实现复杂度从。
线性注意力机制
最新发布
qq_45889056的博客
03-31 941
特性Linformer核心方法特征映射 + 结合律优化低秩投影压缩KKK和VVV复杂度ONO(N)ON（严格线性）ON⋅kON⋅k（近似线性）是否保留 Softmax❌ 替换为线性近似✅ 保留原始 Softmax是否需要投影矩阵❌ 无额外参数✅ 需学习EKEVE_K, E_VEK​EV​适用场景通用序列任务（生成、分类）超长序列（文档、图像）近似误差较高（依赖特征映射的合理性）较低（低秩假设成立时）开源实现GitHub。
LFA-ConvLSTM：可解释的局部注意力机制用于多步交通流预测
zuiyishihefang的博客
04-19 1263
1 文章信息文章题为“Interpretable local flow attention for multi-step traffic flow prediction”，是一篇发表于Neural Networks期刊上关于交通流多步预测的文章。文章源码可以在：https://github.com/hub5/LFAConvLSTM获得。2 摘要在过去的几年里，基于神经网络的方法在交通流预测（TFP...
线性注意力
wuyuanli_r的博客
12-31 2215
这是关于提升transormer 效率的方法. 故而在单头自注意力机制上考虑. Q,K,VQ,K,VQ,K,V 都是 N×DN \times DN×D 矩阵, QKTQK^TQKT 的复杂度为 N2DN^2DN2D. 令 A:=softmax(QKTQK^TQKT). AVA VAV 的复杂度为 N2DN^2DN2D. 所以 注意力机制的复杂度为 Q(N2)Q(N^2)Q(N2). 我们之所以关注 N 是因为这关系到输入词汇的长度. 如果换一种想法 eQKT=ϕ(Q)ϕ(K)Te^{QK^T}=\phi
媲美全局注意力！百度、港大提出双边局部注意力ViT：引入特征空间，显著降低计算量...
Paper weekly
04-28 788
©作者|马昊宇来源|机器之心在这项研究中，来自百度研究院和香港大学的研究者重新思考了局部自注意力机制，提出了特征空间局部注意力（feature-space local attention 或简称 FSLA）。Vision Transformer 舍弃了 ConvNet 先验信息，通过引入自注意力机制对远距离特征依赖进行建模，提升了模型的表征能力。然而 Vision...
YOLO11创新改进系列：卷积，主干 注意力，C3k2融合，检测头等创新机制（已更新110+）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-29 1万+
本专栏提供详细的 YOLO11 教程，包括基础知识、源码解析、入门实践、算法改进和项目实战，适合发表YOLO11 学习者订阅。内容包含 100+多篇独家改进机制，适合发表论文，评分高达 96 分。订阅者将获得一键运行的改进文件及答疑交流群支持。 使用服务器的同学还可以私聊获取搭建好的运行环境。
注意力机制：让神经网络更聚焦
AI天才研究院
05-03 596
1. 背景介绍 1.1. 神经网络的瓶颈 传统神经网络，如循环神经网络（RNN）和卷积神经网络（CNN），在处理序列数据和图像数据时取得了巨大成功。然而，它们也存在着一些瓶颈，例如： 长距离依赖问题: RNN 在处理长序列数据时，由于梯度消失
ResNet与注意力机制完美结合！11个创新方案让模型性能倍增
学姐带你玩AI的博客
03-19 8517
可以在保持网络深度的同时，提高模型对任务相关特征的识别和利用能力，以及对关键信息的捕捉能力。具体来说，结合的方式通常是在RetNet的基础上添加注意力模块。这些模块（自注意力机制/通道注意力机制）通过对特征图进行分析，为不同的特征或特征通道分配不同的权重，从而突出重要的信息并抑制不重要的信息。这种结合策略。因此，RetNet结合注意力机制已经成为深度学习领域的一个研究热点。本文整理了，每种方案可参考的方法以及创新点我也做了简单介绍，希望能给各位的论文添砖加瓦。论文原文以及开源代码需要的同学看文末。
低秩自注意力
wuyuanli_r的博客
01-04 1938
自注意力一般是低秩的, 证明参考 Linformer: Self-Attention with Linear Complexity 定理 1. 这也比较容易猜测出来. 因为文本词汇大多数依赖于自己距离很近的词汇, 较少依赖距离较远的词汇. 这意味着可以使用 两个矩阵逼近 WQW^QWQ 或者 WKW^KWK. 其中一个矩阵是带状矩阵, 另一个是稀疏低秩矩阵. 明显带装矩阵只有下图蓝色部分需要确定, 其余为0. 低秩矩阵可以看成是小矩阵的乘积. 假定正常 注意力机制 权重矩阵为 A:=HWQ(WK)THT,
常见的两种注意力机制
人工智能
03-25 2万+
为什么需要注意力机制 seq2seq模型已经在机器翻译、自然语言处理领域取得了很大的进步，基于贝叶斯条件概率公式，seq2seq由一个编码器和一个解码器构成，编码器将源序列A编码成一个固定长度的特征向量，这个向量作为输入被传送到解码器得到目标序列B。 seq2seq虽然相比传统的n-gram统计模型更具非线性刻画能力，但其也有自身的缺点。主要缺点主要有两个：第一是长程记忆能力有
Transformer架构中基于窗口的的自注意力机制W-MSA和滑动窗口自注意力机制SW-MSA的实现
wqq112692的博客
02-05 7141
基于滑动窗口的Transformer架构中的自注意力机制的实现
简单图解一下线性注意力机制
zenRRan的博客
09-16 6753
知乎：刀刀宁链接：https://zhuanlan.zhihu.com/p/718156896线性注意力机制的文章有很多了，在本篇笔记中，我们简单地对各种方法进行一下图解比较，串一下当前的线性注意力机制，涉及的公式极少，主要梳理逻辑脉络。本文会从 state space model 中间状态模型这条主线，来梳理 RNN、LSTM，再到 Retentive、GLA 等 Linear Attentio...
部分注意力机制的优缺点
SLCWYF的博客
11-22 5989
请注意，上述的优缺点是一般性的观点，具体性能可能因任务和数据集而异。在选择注意力机制时，建议根据具体任务需求和计算资源的可用性进行仔细评估。
注意力机制
m0_73723097的博客
01-06 1209
局部特征向量，s表示特征图层数：为VGG不同层级的局部特征向量，将FC-1, 512的输出 G 视作全局特征，同时移除FC-2, 10层。接收和 G 作为输入，计算出注意力权重图(Attention map)，挖掘特征之间的关系。Attention map作用于的每个channel得到 Weighted local feature。把各个层级下的进行连接操作后得到最后将送入全连接层FC-2, 10进行分类。
mobilevit局部注意力改进
03-16
### 改进 MobileViT 局部注意力机制的方法 MobileViT 是一种轻量级模型家族，旨在通过减少参数数量来提高计算效率的同时保持较高的准确性[^1]。为了进一步优化其局部注意力机制，可以从以下几个方面入手： #### 1. **引入动态卷积** 动态卷积可以根据输入特征图自适应调整权重分布，从而增强对不同区域的关注度。这种方法可以显著提升局部注意力的效果，尤其是在处理复杂背景的任务时。例如，在 YOLOv8 中也采用了类似的策略来改进检测头的表现[^3]。 ```python import torch.nn as nn class DynamicConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3): super(DynamicConv, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels * kernel_size * kernel_size, 1) def forward(self, x): weight = self.conv(x) b, c, h, w = weight.shape weight = weight.view(b, -1, h, w).permute(0, 2, 3, 1).contiguous() return weight ``` #### 2. **采用窗口化多头注意力 (Windowed Multi-head Attention)** 窗口化的多头注意力能够降低全局注意力带来的高昂计算成本，同时保留足够的上下文信息。这种技术已经在 Transformer 架构中得到了广泛应用，并被证明可以在图像分类、目标检测等多个任务上取得良好效果[^2]。 #### 3. **融合空间金字塔池化模块(SPP)** SPP 可以捕获多个尺度上的特征表示，这对于改善局部细节捕捉能力非常有帮助。将其融入到现有的注意力机制框架下，有助于更好地理解对象内部结构及其周围环境的关系。 ```python from torchvision import models def add_spp_layer(base_model): spp = SpatialPyramidPooling([1, 2, 4]) base_model.add_module('spp', spp) # Example usage with ResNet backbone resnet = models.resnet18(pretrained=True) add_spp_layer(resnet) ``` 以上提到的技术手段均能在不同程度上促进 MobileViT 对于局部特性的把握程度，进而推动整体性能向前迈进一大步。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值