【Block总结】EfficientViT中的多尺度线性注意力模块即插即用

已于 2025-03-10 06:36:01 修改
阅读量1k 收藏 16
点赞数 27
分类专栏： Block总结 文章标签： 人工智能 深度学习 计算机视觉
于 2025-03-02 16:24:19 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/145964383
版权

论文信息

  • 标题: EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
  • 作者: Han Cai, Junyan Li, Muyan Hu, Chuang Gan, Song Han（MIT/浙江大学/清华大学/MIT-IBM Watson AI Lab）[3][7]
  • GitHub: mit-han-lab/efficientvit
  • 研究背景: 高分辨率密集预测（如语义分割、超分辨率）在自动驾驶、计算摄影等领域应用广泛，但现有模型存在计算成本高、硬件部署效率低的问题[3][7]。
    在这里插入图片描述

核心创新点

  1. 多尺度线性注意力（Multi-Scale Linear Attention）

    了解本专栏 订阅专栏 解锁全文
    【Block总结】轻量多尺度线性注意力LiteMLA，即插即用
    AI浩
    02-05 386
    EfficientViT通过引入多尺度线性注意力机制，成功解决了高分辨率密集预测中的计算瓶颈问题。该模型在多个标准数据集上表现出色，显著提升了计算效率，同时保持了高性能，适用于自动驾驶、医疗图像处理等多个领域。EfficientViT为未来的视觉模型开发提供了新的思路和方向。
    YOLOv10涨点改进：如何魔改注意力进行二次创新，高效替换PSA | NEU-DET为案列进行展开
    05-28 5959
    在NEU-DET案列进行可行性验证，1）mAP50从0.683提升至0.698；2）mAP50从0.683提升至0.695;
    线性注意力机制
    qq_45889056的博客
    03-31 849
    特性Linformer核心方法特征映射 + 结合律优化低秩投影压缩KKK和VVV复杂度ONO(N)ON（严格线性）ON⋅kON⋅k（近似线性）是否保留 Softmax❌ 替换为线性近似✅ 保留原始 Softmax是否需要投影矩阵❌ 无额外参数✅ 需学习EKEVE_K, E_VEK​EV​适用场景通用序列任务（生成、分类）超长序列（文档、图像）近似误差较高（依赖特征映射的合理性）较低（低秩假设成立时）开源实现GitHub。
    YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
    B站 Ai学术叫叫兽的文案地
    04-18 2891
    YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
    YOLO11改进-注意力-引入多尺度卷积注意力模块MSCAM
    qq_64693987的博客
    12-25 2593
    MSCAM（多尺度卷积注意力模块）的设计旨在通过对特征图进行多维度的注意力加权，从而提升特征的判别性和丰富性，进而提高模型在医学图像分割等任务中的性能。注意力机制通过自动学习特征图中不同部分的重要性，对特征进行加权处理。在 MSCAM 中，这种机制分为通道注意力和空间注意力两个维度。1通道注意力：旨在学习每个通道的重要性。不同通道可能包含不同类型的特征信息，通过为每个通道分配不同的权重，可以突出重要通道的特征，抑制无关通道的特征。空间注意力：关注特征图中的不同空间位置。
    多尺度变形注意力模块和多级特征聚合模块
    小嘤熊的博客
    11-08 1415
    3️⃣C15 -C25 沿通道轴连接以获得具有多尺度变形感受野的新特征图，注意力图 A 是通过在这个新连接的特征图上应用 3 × 3 卷积层和 sigmoid 激活函数生成的。通过这种方式，MSDAM从具有大的多尺度可变形感受野的特征图中生成注意力图，从而可以更好地拟合各种形状和大小的遥感对象，并为遥感图像生成更精确的注意力图。（2）遥感图像中的物体实例具有变形和大尺度变化的特征，而具有固定形状和单尺度感受野的特征图C5很难很好地拟合这些物体并预测出精确的遥感图像注意力图。相应生成的特征图表示为于C05。
    YOLO11改进-模块-引入多频率多尺度注意力（MFMSA）模块 提高多尺度、小目标
    qq_64693987的博客
    02-18 1599
    模拟人类视觉处理机制：人类视觉系统在观察事物时，能自动融合不同尺度和频率的信息，精准理解周围环境。受此启发，MFMSA block 致力于模拟这一过程，更好地处理医学图像。医学图像中病变大小差异极大，像肿瘤、息肉和细胞等，其尺寸各不相同，需要多尺度特征才能精准定位和分割这些区域。同时，由于医学图像采集方式的特殊性，图像的频率变化比尺度变化更明显，多频率信息对于构建高效的医学图像分割模型起着关键作用。多尺度与多频率信息融合：MFMSA block 先借助预训练的 ResNeSt 网络来提取输入图像的特征。
    YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
    Limiiiing的博客
    10-28 611
    本文记录的是基于EfficientViT的YOLOv11轻量化改进方法研究。通过构建多尺度线性注意力模块将全局感受野与多尺度学习相结合，并以此模块为核心构建网络，构建轻量级且硬件高效的操作，以提升性能并降低硬件部署难度。本文在替换骨干网络中配置了原论文中的和6种模型，以满足不同的需求。
    (即插即用模块-Attention部分) 十二、(ICASSP 2023) EMA 多尺度注意力
    wei582636312的博客
    11-19 783
    这篇论文中，作者先是重新审视了Coordinate Attention。指出CA忽略了完全空间位置之间相互作用的重要性，以及使用1x1卷积时存在的问题，即有限的感受域阻碍了局部跨通道交互的建模和利用上下文信息。因此，在CA的基础上，作者提出了一种新的高效多尺度注意力模块（Efficient Multi-Scale Attention Module）。
    每日Attention学习5——Multi-Scale Channel Attention Module
    xiongxyowo的博客
    05-09 1002
    MS-CAM的核心思想在于，通过改变空间池化的大小，可以在多个尺度上实现通道注意力。为了尽可能保持轻量级，我们只是在注意力模块内将局部上下文添加到全局上下文中。我们选择点卷积（PointWise Conv）作为局部通道上下文融合器，它只利用每个空间位置的点级通道交互。
    （脑肿瘤分割笔记：二十六）用于医学图像分割的多尺度自引导注意力
    weixin_43921949的博客
    09-08 2598
    用于医学图像分割的多尺度引导注意力
    YOLO系列自研改进：基于注意力机制的多尺度特征提取模块
    weixin_47060902的博客
    05-04 613
    YOLO系列自研改进：基于注意力机制的多尺度特征提取模块
    双多尺度注意力网络（DMSANet: Dual Multi Scale Attention Network）
    qq_40107571的博客
    10-29 2799
    双多尺度注意力网络
    MUSE: PARALLEL MULTI-SCALE ATTENTION FOR SEQUENCE TO SEQUENCE LEARNING
    Jeaksun的博客
    06-05 1557
    在顺序学习中，自我注意机制被证明是非常有效的，并在许多任务中取得了显著的改善。然而，自我注意机制也并非没有缺陷。虽然自我注意可以模拟极长的依赖关系，但深层的注意力往往过于集中在单一的表征上，导致对局部信息的充分利用，并难以表征长序列。在这项工作中，本文探索了序列数据上的并行多尺度表征学习，努力捕捉长程和短程语言结构。为此，本文提出了并行多尺度注意(MUSE)和MUSE-SIMPLE。本文将重点放在机器翻译上，提出的方法在性能上比Transformer有了很大的提高，特别是在长序列上。...
    简单图解一下线性注意力机制
    zenRRan的博客
    09-16 6708
    知乎：刀刀宁链接：https://zhuanlan.zhihu.com/p/718156896线性注意力机制的文章有很多了，在本篇笔记中，我们简单地对各种方法进行一下图解比较，串一下当前的线性注意力机制，涉及的公式极少，主要梳理逻辑脉络。本文会从 state space model 中间状态模型这条主线，来梳理 RNN、LSTM，再到 Retentive、GLA 等 Linear Attentio...
    语义分割模型 注意力模块Attention（学习笔记）
    m0_64931337的博客
    01-17 1554
    深度学习入门：注意力机制的理解
    [Transformer]Deformable DETR: deformable transformers for end-to-end object detection
    qq_37151108的博客
    11-09 4365
    Deformable DETR:可变Transformer用于端到端的目标检测AbstractSection I IntroductionSection II Related WorkSection III Revisting Transformers and DETRPart 1 Multi-Head Attention in TransformersSection IV MethodPart 1 Deformable TransformerPart 2 Additional Improvements a
    AFF特征融合模块汇总
    weixin_72625335的博客
    01-05 4548
    在注意力特征融合模块中 ，X和Y初始特征的融合仅是简单对应元素相加，然后作为注意力模块的输入会对最终融合权重产生影响。作者认为如果想要对输入的特征图有完整的感知，只有将初始特征融合也采用注意力融合的机制，一种直观的方法是使用另一个attention模块来融合输入的特征。对输入的两个特征X，Y先做初始特征融合，经过sigmod激活函数，输出值为0~1之间，作者希望对X 、Y 做加权平均，就用 1 减去这组 Fusion weight，可以作到 Soft selection，通过训练，让网络确定各自的权重。
    深度学习即插即用模块多尺度特征提取模块
    最新发布
    04-03
    ### 关于深度学习中的多尺度特征提取模块 在深度学习领域，多尺度特征提取是一个重要的研究方向，尤其是在计算机视觉任务中。通过设计特定的即插即用模块，可以有效提升模型对不同尺度目标的检测能力。 #### ASPP模块的工作原理 空洞卷积（Dilated Convolution）是一种扩展感受野的技术，在不增加参数数量的情况下能够捕获更大范围的信息。ASPP（Atrous Spatial Pyramid Pooling）模块利用多个具有不同膨胀率的空洞卷积来捕捉图像的不同尺度特征[^1]。具体来说： - 不同膨胀率的空洞卷积被应用于输入特征图上。 - 这些卷积的结果随后会被拼接在一起，并经过全局平均池化层处理。 - 最终输出的是融合了多种尺度信息的特征表示。 以下是ASPP的一个简单实现代码： ```python import torch.nn as nn class ASPP(nn.Module): def __init__(self, in_channels, out_channels): super(ASPP, self).__init__() dilations = [1, 6, 12, 18] self.aspp_blocks = nn.ModuleList([ nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=d, dilation=d) for d in dilations ]) def forward(self, x): outputs = [] for block in self.aspp_blocks: outputs.append(block(x)) output = torch.cat(outputs, dim=1) return output ``` #### MSB模块的设计理念 MSB（Multi-Scale Block）作为一种即插即用的多尺度特征提取模块，其主要目的是提高模型对于复杂场景下物体大小变化的适应性[^4]。它通常由以下几个部分组成： - **多尺度并行大卷积核模块 (MSPLCK)**：采用不同尺寸的大卷积核进行特征抽取，从而覆盖更广的空间区域。 - **增强并行注意力机制 (EPA)**：通过对齐各个分支之间的关系权重，进一步优化跨通道间的信息交互过程。 这种组合不仅增强了局部细节的表现力，同时也改善了远距离依赖建模的效果。 #### 轻量化网络中的应用实例 - MSF-Net 为了降低计算成本同时保持良好的性能表现，某些研究工作还探索了如何构建更加紧凑高效的架构。例如，在皮肤病变分割任务中提出的MSF-Net就成功地集成了几种创新性的子组件[^3]： - S-Conv 块负责调整标准二维卷积操作的行为特性； - MDC 结合可变步长策略实现了灵活可控的感受视野调节功能； - MFF 利用了金字塔形结构完成高层次语义理解向低层次空间定位线索传递的任务转换流程。 这些改进措施共同促进了最终预测精度指标上的显著进步。 --- ###
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    AI浩

    你的鼓励将是我创作的最大动力

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    打赏作者

    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值