【arXiv 2025】卷积加法自注意力CASAtt，轻量且高效，即插即用！

已于 2025-03-12 13:51:27 修改
阅读量1k 收藏 11
点赞数 29
分类专栏： 2025年AI即插即用模块 文章标签： 人工智能 深度学习 计算机视觉 pytorch
于 2025-03-04 20:43:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43303160/article/details/146026441
版权

 一、论文信息 

论文题目：CAS-ViT: Convolutional Additive Self-attention Vision Transformers for Efficient Mobile Applications

中文题目：CAS-ViT：用于高效移动应用的卷积加法自注意力视觉Transformer

论文链接：https://arxiv.org/pdf/2408.03703?

官方github：https://github.com/Tianfang-Zhang/CAS-ViT

所属机构：商汤科技研究院，清华大学自动化系，华盛顿大学电气与计算机工程系，哥本哈根大学计算机科学系

核心速览：本文介绍了一种名为CAS-ViT（Convolutional Additive Self-attention Vision Transformers）的新型视觉Transformer，旨在移动应用中实现效率与性能之间的平衡。

二、论文概要 

Highlight

图片

图1. ImageNet-1K上的参数与Top-1准确率对比。圆圈大小表示Gflops，最好以彩色查看。

图片

图4. 背部最后一层的热图可视化。从上到下依次是原始图像、PoolFormer-S24、SwiftFormer-L1 和CAS-ViT-M。我们的模型准确捕捉了全局上下文，并且相比于其他SOTA（State Of The Art）模型，实现了更大的感受野，这对于密集预测任务是有益的。

图片

图5. 在COCO 2017上对目标检测和实例分割结果的可视化。上图：PoolFormer-S12 的预测结果，下图：CAS-ViT-M的预测结果。我们的方法能够准确地检测和分割实例。

1. 研究背景:

  • 研究问题：尽管视觉变换器（ViTs）在捕获长距离依赖、全局建模和表示方面具有优势，但其成对的标记亲和性和复杂的矩阵操作限制了其在资源受限场景和实时应用中的部署，如移动设备。如何设计一种既能在移动设备上高效运行又能保持高性能的视觉变换器模型，是当前研究的热点问题。

  • 研究难点：ViT模型中的多头自注意力（MSA）机制具有二次复杂度，导致计算效率低下，难以满足应用需求。此外，ViT中的复杂矩阵乘法和Softmax操作在部署到边缘设备时会遇到操作不支持和模型转换失败的问题。因此，开发一种结合了高效部署和强大性能的标记混合器，如混合模型，已成为移动设备上的迫切问题。

  • 文献综述：为了改进标记混合器，研究者们尝试了多种方法，包括MSA的改进和异构MSA（H-MSA）。MSA的改进侧重于在自注意力机制下增强捕获长距离依赖的能力，同时降低算法复杂性。H-MSA是一种进化变体，打破了Q和K矩阵乘法的限制，以探索更灵活的网络设计。尽管最近的研究取得了一定进展，但仍然存在效率和准确性之间难以取得满意平衡的问题。

2. 本文贡献:

  • CAS-ViT网络架构：提出了一种名为CAS-ViT的卷积加法自注意力网络，旨在移动应用中实现效率与性能之间的平衡。该网络通过引入卷积加法令牌混合器（CATM）和卷积加法自注意力（CAS）块，简化了复杂的矩阵运算，如矩阵乘法和Softmax，从而提高了效率。

  • 令牌混合器设计：CATM模块通过空间和通道注意力实现信息交互，消除了复杂的矩阵运算。该模块采用Sigmoid激活的加法相似性函数，实现了自注意力的卷积替代。

  • 轻量级网络构建：构建了一系列轻量级网络模型，这些模型可以轻松扩展到各种下游任务。这些模型在ImageNet-1K数据集上进行了评估，取得了优异的性能。

  • 实验结果：CAS-ViT模型在多个视觉任务上取得了优异的性能，包括图像分类、对象检测、实例分割和语义分割。在ImageNet-1K数据集上，CAS-ViT模型的M和T模型分别以12M和21M参数取得了83.0%/84.1%的top-1准确率。

 三、方法 

图片

图2. 不同自注意力机制的比较。(a) 是ViT 中的经典多头自注意力。(b) 是MobileViTv2 中的可分离自注意力，它将矩阵的特征度量降低到一个向量。(c) 是SwiftFormer 中的快速自注意力，仅使用Q和K实现高效的特征关联。(d) 提出的卷积加性自注意力。

图片

CASAtt模块结合了空间注意力和通道注意力机制来增强特征表达。该模块的核心思想是通过空间操作和通道操作分别对查询（Q）和键（K）进行增强，最终生成注意力加权的特征输出。其主要流程如下：

1. Q、K、V的计算：首先，通过一个1x1卷积将输入特征图x映射为查询（Q）、键（K）和值（V），这三个张量被分割成相应的维度。

2. 空间注意力：该操作首先通过一个深度可分离卷积（depthwise convolution）提取空间信息，接着通过BatchNorm和ReLU激活，最后通过1x1卷积生成空间注意力权重，并通过Sigmoid激活得到一个0到1之间的权重值，用于加权输入特征图。

3. 通道注意力：该操作通过全局平均池化（AdaptiveAvgPool2d）聚合通道信息，然后通过1x1卷积生成通道注意力权重，同样使用Sigmoid激活生成最终的权重值。

4. 注意力操作：空间操作和通道操作分别作用在Q和K上，经过加权得到新的Q和K。然后，通过深度可分离卷积（dwconv）对加权后的Q和K进行处理，得到融合后的特征图。

5. 融合与输出：最后，将加权后的V和Q、K的融合结果进行卷积和dropout操作得到最终的输出。

 四、实验分析 

1. 图像分类——ImageNet-1K: CAS-ViT模型在ImageNet-1K数据集上取得了优异的分类性能。具体来说，M和T模型分别达到了82.8%/83.0%和83.9%/84.1%的top-1准确率，且参数量分别为12M和21M。这些结果表明CAS-ViT在保持高准确率的同时，参数量和计算复杂度较低，非常适合移动设备部署。

图片

图片

图片

2. 目标检测和实例分割——COCO val 2017: 在COCO数据集上，CAS-ViT模型同样表现出色。例如，T模型在使用Mask RCNN时，AP box和AP mask分别达到了43.5和39.6，超过了其他一些模型，如Swin-T和EfficientFormer-L1，且参数量更少。

图片

3. 语义分割——ADE 20K: 在ADE 20K数据集上，CAS-ViT模型同样展现了良好的性能。M和T模型在使用Semantic FPN时，mIoU分别达到了45.0%和43.6%，优于其他一些模型，如PVT和EfficientFormer等，且参数量更少。

图片

 五、代码 

https://github.com/AIFengheshu/Plug-play-modules
2025年全网最全即插即用模块，全部免费！适用于图像分类、目标检测、实例分割、语义分割、单目标跟踪（SOT）、多目标跟踪（MOT）、RGBT、图像去噪、去雨、去雾、去模糊、超分等计算机视觉（CV）和图像处理任务，持续更新中......

欢迎转发、点赞、收藏~

【即插即用完整代码】arXiv 2025 卷积加法自注意力CASAtt，轻量且高效，快速发表论文！
m0_58508552的博客
01-20 728
【即插即用完整代码】arXiv2025卷积加法自注意力CASAtt，轻量且高效，模型快速涨点！
卷积加法自注意力CASAtt详解及代码复现
hasakie的博客
01-18 533
通过这种创新的设计，CASAtt成功地在保持高性能的同时，显著降低了计算复杂度，为高效移动视觉应用开辟了新的可能性。这种低复杂度特性使得CASAtt能够在资源受限的移动设备上高效运行，同时保持较高的性能水平，为未来的高效移动视觉应用提供了新的思路和方法。通过这种精心设计的实现，CASAtt能够在保持高性能的同时，显著降低计算复杂度和内存占用，特别适合部署在资源受限的移动设备上。CASAtt的加法相似度函数是其创新设计的关键组成部分，通过精心设计的计算流程，实现了低复杂度和高效特征表示的平衡。
CAS-ViT：面向高效移动应用的卷积加性自注意力视觉Transformer
m0_47867638的博客
08-15 1990
作为视觉Transformer的关键组件，自注意力机制可以有效地捕获不同位置之间的关系。给定一个输入x∈RN×dx∈RN×d，如图2(a)所示，其中包含NNN个标记，每个头内部有ddd维嵌入向量。自注意力可以通过相似度函数Sim⁡QKexp⁡QK⊤dSimQKexpQK⊤d​OSoftmax⁡QK⊤dVOSoftmaxd​QK⊤​V。
【CVPR2025】LCA轻量交叉注意力模块
weixin_59422604的博客
03-13 1338
题目： HVI: ANewColor Space for Low-light Image Enhancement HVI：一种用于低光图像增强的新色彩空间 源码：https://github.com/Fediory/HVI-CIDNet低光图像增强（LLIE）是一项至关重要的计算机视觉任务，旨在从受损的低光图像中恢复详细的视觉信息。现有的许多LLIE方法都基于标准RGB（sRGB）色彩空间，由于sRGB固有的高色彩敏感度，这些方法往往会产生色彩偏差和亮度伪影。虽然使用色调、饱和度和明度（HSV）色彩空间转换
CAS-ViT：用于高效移动应用的卷积加性自注意力视觉变换器
qq_46063079的博客
11-20 577
摘要： 视觉变换器 (ViT) 凭借其令牌混合器强大的全局上下文功能，标志着神经网络的革命性进步。然而，尽管之前的研究已经做出了相当大的努力，但成对的令牌亲和性和复杂的矩阵运算限制了它在资源受限场景和实时应用（如移动设备）上的部署。在本文中，我们引入了 CAS-ViT：卷积加性自注意力视觉变换器，以在移动应用中实现效率和性能之间的平衡。首先，我们认为令牌混合器获取全局上下文信息的能力取决于多种信息交互，例如空间和通道域。随后，我们根据此范例构建了一种新颖的加性相似性函数，并提出了一种名为卷积加性令牌混合器
深度学习论文: CAS-ViT: Convolutional Additive Self-attention Vision Transformers
mingo_敏
01-14 154
在相关研究中，视觉 Transformer（ViT）虽凭借 token mixer 的强大全局上下文能力取得了显著进展，但也面临着 token mixer 中矩阵操作（如 Softmax）复杂度高，以及在移动设备或实时应用中难以兼顾准确性、效率和易部署性等问题。为解决这些问题，研究者提出了卷积加性自注意力（CAS）-ViT 这一轻量级网络家族。首先，研究者认为 token mixer 获取全局上下文信息依赖于空间域和通道域等多维度的信息交互。
[Backbone]CAS-ViT: Convolutional Additive Self-attention Vision Transformers
天下事有难易乎？为之，则难者亦易矣；不为，则易者亦难矣。人之为学有难易乎？学之，则难者亦易矣；不学，则易者亦难矣。
08-29 1273
CAS-ViT：卷积加性自注意力视觉转换器，以实现移动应用程序的效率和性能之间的平衡。首先，我们认为令牌混合器获得全局上下文信息的能力取决于多个信息交互，例如空间和通道域。随后，我们按照这个范式构建了一个新的加性相似函数，并提出了一个有效的实现，称为卷积加性令牌混合器 (CATM)。这种简化导致计算开销显着减少。
CAS-ViT: Convolutional Additive Self-attention Vision Transformers——用于高效移动应用的卷积加性自注意力视觉Transformer
Together_CZ的博客
02-15 1493
CAS-ViT:ConvolutionalAdditiveSelf-attention VisionTransformersforEfficientMobile Applications——用于高效移动应用的卷积加性自注意力视觉Transformer
YOLO11改进-模块-引入卷积加法自注意力机制 Conv Additive Self-Attention 轻量化自注意力机制
qq_64693987的博客
03-18 1065
Conv Additive Self-Attention 理论基于对传统视觉 Transformer（ViT）自注意力机制的深度剖析。传统 ViT 的多头自注意力（MSA）虽能捕捉长距离依赖和全局信息，但计算时需测量所有 Query 对来获取注意力图，计算复杂度与输入图像大小呈二次关系，在资源受限场景计算负担过重。研究表明，自注意力机制获取全局上下文信息依赖多个信息交互维度，如空间和通道域交互。因此，该机制提出新思路：用更简单高效操作实现信息交互，摒弃复杂且计算成本高的矩阵乘法和 Softmax 操作。
CAS-ViT: 高效移动应用的卷积加性自注意Vision Transformer
u014546828的博客
08-09 1624
Vision Transformer（ViTs）是一种在神经网络领域取得了革命性进展的模型，它通过标记混合器（token mixer）强大的全局上下文能力，实现了对图像分类、目标检测、实例分割和语义分割等多个视觉任务的高效处理。然而，在资源受限场景和移动设备等实时应用中，成对的标记亲和力（token affinity）和复杂的矩阵运算限制了ViTs的部署。CATM模块用于实现高效的自注意力；：定义了一种新的加性相似性函数，该函数通过直接对Query（Q）和Key（K）的上下文分数求和来计算相似度，即。
CAS-ViT实战：使用CAS-ViT实现图像分类任务
08-22
CAS-ViT（Convolutional Additive Self-attention Vision Transformer）通过一系列创新，成功实现了计算与效率的平衡。其核心在于提出了一种新颖的加性相似度函数和卷积加性标记混合器（Convolutional Additive Token Mixer, CATM），这一设计显著降低了计算开销。 原文链接：https://blog.csdn.net/m0_47867638/article/details/141404169
【Block总结】轻量级门控瓶颈卷积GBC|即插即用|CVPR2025
最新发布
AI浩
04-04 1342
SCSegamba通过结合SAVSS和MFS，显著增强了对裂缝形状和纹理的感知能力，同时保持了低参数量和计算资源需求。实验结果表明，该方法在多种复杂场景下均表现出色，适用于实际的裂缝检测任务，并适合在边缘设备上部署。未来的工作将结合多模态线索进一步提升分割质量，并优化VSS设计和扫描策略，以实现高质量分割结果与低计算资源的平衡。
即插即用篇 | RFAConv：创新空间注意力和标准卷积操作 | YOLO全系列涨点！值得一看
YOLOv8项目贡献者
01-09 5134
即插即用篇 | RFAConv：创新空间注意力和标准卷积操作 | YOLO全系列涨点！值得一看。
【Block总结】CPCA，通道优先卷积注意力|即插即用
AI浩
02-01 1456
本文通过提出通道优先卷积注意力（CPCA）机制，显著提升了医学图像分割的性能。CPCA不仅增强了模型对重要特征的关注能力，还通过动态分配注意力权重，优化了计算资源的使用。未来的研究可以进一步探索CPCA在其他领域的应用潜力，以及与其他深度学习技术的结合。
卷积注意力模块 CBAM | CBAM: Convolutional Block Attention Module
YOLOv8项目贡献者
04-28 2456
卷积注意力模块 CBAM
论文推荐| 最强最快ViT诞生，CAS-ViT 提升图像分类、目标检测、语义分割等任务性能，可部署到手机端！！...
小白学视觉
09-11 705
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达视觉 Transformer （ViTs）与它们的标记混合器的强大全局上下文能力标志着神经网络的革命性进步。然而，标记之间的双向亲和力和复杂的矩阵运算限制了它们在资源受限的场景和实时应用（如移动设备）上的部署，尽管在以前的工作中已经做出了显著的努力。在本论文中，作者提出CAS-ViT：卷积加性自注意力视觉 Transformer...
CAS-ViT:用于高效移动应用的卷积加法自注意力视觉Transformer
deephub
09-18 4249
CAS-ViT通过创新的卷积加法自注意力机制,在保持高性能的同时大大降低了计算复杂度。这使得它非常适合部署在资源受限的移动设备上,为高效移动视觉应用开辟了新的可能性。未来的工作可以探索在更大规模的数据集和模型上应用CAS-ViT,以及进一步优化其在移动设备上的部署效率。
一文看尽2024年主流11注意力机制
小白学视觉
09-18 680
注意力机制已经成了模型设计的基础架构，现在模型里没个Attention都不好意思发出来。从注意力机制发布到今天，学术界一直在对Attention进行各种魔改。魔改后的Attention能够提升模型的表达能力、增强跨模态能力和可解释性，以及优化模型大小与效率。最重要的一点，很多注意力模块都是即插即用的。我们可以在自己的模型里用学术大牛的注意力模块，这样再做实验写论文绝对是事半功倍了。近期，包括缩放点...
CAS卷积加法自注意力
01-03
### CAS 卷积加法自注意力机制概述 CAS (Convolution Additive Self-Attention) 是一种结合了卷积操作和自注意力机制的方法，旨在提高模型处理序列数据的能力。该方法通过引入局部感知能力来增强传统自注意力机制的效果。 #### 自注意力机制原理 传统的自注意力机制计算输入序列中每个位置与其他所有位置之间的关系权重矩阵 QK^T，并将其应用于值向量 V 来获得上下文表示[^1]： \[ \text{Self-Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \] 其中 \( d_k \) 表示键维度大小。 #### 加入卷积操作 为了融合局部信息，在标准的多头自注意力层之前加入一维卷积层。这使得模型不仅能够捕捉全局依赖性，还能有效利用相邻元素间的关系。具体来说，对于给定的查询 Query 和键 Key 向量，先经过线性变换映射到低维空间后再送入卷积网络进行特征提取: ```python import torch.nn as nn class ConvLayer(nn.Module): def __init__(self, input_dim, output_dim, kernel_size=3): super(ConvLayer, self).__init__() padding = (kernel_size - 1) // 2 self.conv = nn.Conv1d(input_dim, output_dim, kernel_size, padding=padding) def forward(self, x): # 输入形状: (batch_size, seq_len, embed_dim) x = x.transpose(1, 2).contiguous() # 转置成 (batch_size, embed_dim, seq_len) out = self.conv(x) return out.transpose(1, 2).contiguous() ``` #### 实现细节 在实际应用中，通常会采用多头机制进一步提升性能。即分别对多个子空间执行上述过程并将结果拼接起来作为最终输出。此外，还可能涉及到残差连接、层归一化等技术以稳定训练过程并加速收敛。 ```python import math from typing import Optional def scaled_dot_product_attention( q: torch.Tensor, k: torch.Tensor, v: torch.Tensor, mask: Optional[torch.Tensor] = None ) -> tuple[torch.Tensor, torch.Tensor]: dk = float(q.size(-1)) scores = torch.matmul(q, k.transpose(-2,-1)) / math.sqrt(dk) if mask is not None: scores += (mask * -1e9) attention_weights = F.softmax(scores,dim=-1) context_vector = torch.matmul(attention_weights,v) return context_vector, attention_weights class MultiHeadedAdditiveSelfAttention(nn.Module): def __init__( self, num_heads:int, model_dim:int, conv_kernel_size:int=3, dropout_prob:float=.1 ): super().__init__() assert model_dim % num_heads == 0 head_dim = model_dim // num_heads self.num_heads = num_heads self.model_dim = model_dim self.head_dim = head_dim self.query_conv = ConvLayer(model_dim, model_dim, conv_kernel_size) self.key_conv = ConvLayer(model_dim, model_dim, conv_kernel_size) self.value_conv = ConvLayer(model_dim, model_dim, conv_kernel_size) self.fc_out = nn.Linear(model_dim,model_dim) self.dropout = nn.Dropout(dropout_prob) def forward(self,x): batch_size,n_tokens,_ = x.shape queries = self.query_conv(x).view(batch_size,n_tokens,self.num_heads,self.head_dim) keys = self.key_conv(x).view(batch_size,n_tokens,self.num_heads,self.head_dim) values = self.value_conv(x).view(batch_size,n_tokens,self.num_heads,self.head_dim) queries = queries.permute(0,2,1,3) keys = keys.permute(0,2,1,3) values = values.permute(0,2,1,3) attn_output, _ = scaled_dot_product_attention(queries,keys,values) concat_attn = attn_output.reshape(batch_size,n_tokens,-1) output = self.fc_out(concat_attn) output = self.dropout(output) return output+x # Residual connection ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI缝合术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值