YOLOv11改进，YOLOv11添加CAS-ViT（卷积加自注意力视觉变压器）中AdditiveBlock模块，二次创新C3k2结构

最新推荐文章于 2024-12-31 09:54:03 发布
最新推荐文章于 2024-12-31 09:54:03 发布
阅读量870 收藏 1
点赞数 17
分类专栏： YOLOv8/v11改进 文章标签： YOLO 计算机视觉 目标检测 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44779079/article/details/144082156
版权

在这里插入图片描述

摘要

CAS-ViT 是一种为高效移动应用设计的视觉Transformer。模型通过结合卷积操作与加性自注意机制，在保持高性能的同时显著减少计算开销，适合资源受限的设备如手机。其核心组件 AdditiveBlock 通过多维度信息交互和简化的加性相似函数，实现了高效的上下文信息整合，避免了传统多头自注意机制（MSA）的复杂运算。
在这里插入图片描述

# 理论介绍

AdditiveBlock 模块结合了卷积操作与加性自注意机制，以提升视觉任务的性能与计算效。AdditiveBlock 的设计如下：

  • 多信息交互：CAS-ViT 认为Token Mixer 获取全局上下文信息的能力依赖于多维度的信息交互，包括空间和通道域。
  • 加性相似函数：引入一种新颖的加性相似函数，通过简单高效的操作实现上下文信息的整合，避免复杂的矩阵运算。

AdditiveBlock 包含 Integration 子网、CATM 和 MLP 三个部分，并使用残差连接。Integration子网由三个 ReLU 激活的深度卷积层组成。通过调整通道数和块的数量，形成了轻量级的ViT模型族。
CAS-ViT结构如下图（摘自论文）：

在这里插入图片描述

理论详解可以参考链接：论文地址
代码可在这个链接找到：代码地址

下文都是手把手教程，跟着操作即可添加成功

目录

了解本专栏 订阅专栏 解锁全文
《手把手教你YOLOv9实战》，改进专栏目录
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
08-09 1249
为了提供友好的操作效果，本专栏将会手把手搭建可视化界面，我将用PyQt5 搭建一个可视化界面，可视化界面能够实现基本的图像加载与检测功能，如支持视频、摄像头，还支持更换不同的 YOLOv9 模型，并适应不同领域（如口罩检测系统、人脸检测系统、工业缺陷检测系统等），界面灵活、功能强大。通过YOLOv9加以改进设计，形成新的算法框架，一起水科研和论文，专栏会一直持续更新中，本专栏适合目标检测、分割、分类。
Pointnet++改进即插即用系列：全网首发ConvolutionalGLU|即插即用，提升特征提取模块性能
AIcurator的博客
06-05 701
由于残差连接的深度退化效应，许多依赖堆叠层进行信息交换的高效视觉变形模型往往不能形成足够的信息混合，导致视觉感知不自然。为了解决这个问题，在本文中，我们提出了聚合注意力，这是一种基于仿生设计的令牌混合器，它模拟生物中央凹视觉和连续眼运动，同时使特征映射上的每个令牌具有全局感知。此外，我们结合了可学习的令牌，与传统的查询和键交互，这进一步多样化了亲和矩阵的生成，而不仅仅依赖于查询和键之间的相似性。我们的方法不依赖于堆叠进行信息交换，从而有效地避免了深度退化，实现了自然的视觉感知。
YOLOv8改进，YOLOv8引入CAS-ViT（卷积加自注意力视觉变压器）中AdditiveBlock模块，二次创新C2f结构
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
11-27 855
AdditiveBlock 模块结合了卷积操作与加性自注意机制，以提升视觉任务的性能与计算效。多信息交互：CAS-ViT 认为Token Mixer 获取全局上下文信息的能力依赖于多维度的信息交互，包括空间和通道域。加性相似函数：引入一种新颖的加性相似函数，通过简单高效的操作实现上下文信息的整合，避免复杂的矩阵运算。AdditiveBlock 包含 Integration 子网、CATM 和 MLP 三个部分，并使用残差连接。Integration子网由三个 ReLU 激活的深度卷积层组成。
YOLOv8改进，YOLOv8添加MLCA注意力机制(混合局部信道注意)
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
08-22 1150
MLCA是一种即插即用的可扩展混合局部注意力机制，以在检测效果、速度和模型参数数量之间实现平衡，并使注意力机制同时包含通道信息、空间信息、局部通道信息和全局通道信息。
Unet改进27：添加DGCST|Vision Transformer与DGSM模块集成在一起的创新结构
AIcurator的博客
09-08 599
随着移动计算技术的快速发展，在移动设备上部署高效的目标检测算法成为计算机视觉的一个关键研究领域。本研究的重点是优化YOLOv7算法，以提高其在移动平台上的运行效率和速度，同时确保高精度。本研究利用Group Convolution、ShuffleNetV2、Vision Transformer等先进技术的协同作用，有效地减少了模型的参数数量和内存使用，简化了网络架构，增强了在资源受限设备上的实时目标检测能力。实验结果表明，改进的YOLO模型表现出优异的性能，显著提高了处理速度，同时保持了优异的检测精度。
YOLOv11改进 | 融合改进篇 | ASFYOLO配合RepViT助力yolov11有效涨点（教你如何融合改进机制创新点）
Snu77的博客
11-16 1595
本文给大家带来的最新改进机制是融合改进，最近有好几个读者和我反应单独的机制都能够涨点，一融合起来就掉点，这是大家不了解其中的原理(这也是为什么我每一个机制都给大家讲解一下原理，大家要明白其中的每个单独的机制涨点原理然后才能够更好的融合，有一些结构是有冲突的)，不知道哪些模块和那些模块融合起来才能够涨点。所以本文给大家带来的改进机制是融合的融合改进机制，同时本文的RepViT可以替换专栏内的任何一个主干。
YOLOv10改进，YOLOv10添加CAS-ViT（卷积加自注意力视觉变压器）中AdditiveBlock模块，二次创新C2f结构
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
11-29 378
AdditiveBlock 模块结合了卷积操作与加性自注意机制，以提升视觉任务的性能与计算效。多信息交互：CAS-ViT 认为Token Mixer 获取全局上下文信息的能力依赖于多维度的信息交互，包括空间和通道域。加性相似函数：引入一种新颖的加性相似函数，通过简单高效的操作实现上下文信息的整合，避免复杂的矩阵运算。AdditiveBlock 包含 Integration 子网、CATM 和 MLP 三个部分，并使用残差连接。Integration子网由三个 ReLU 激活的深度卷积层组成。
YOLO11创新改进系列：卷积，主干 注意力，C3k2融合，检测头等创新机制（已更新110+）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-29 1万+
本专栏提供详细的 YOLO11 教程，包括基础知识、源码解析、入门实践、算法改进和项目实战，适合发表YOLO11 学习者订阅。内容包含 100+多篇独家改进机制，适合发表论文，评分高达 96 分。订阅者将获得一键运行的改进文件及答疑交流群支持。 使用服务器的同学还可以私聊获取搭建好的运行环境。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 15万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
如何在YoloV8中添加注意力机制（两种方式）
ITdaka的博客
09-11 5311
yolov8添加注意力机制的方法
CAS-ViT实战：使用CAS-ViT实现图像分类任务
08-22
CAS-ViT（Convolutional Additive Self-attention Vision Transformer）通过一系列创新，成功实现了计算与效率的平衡。其核心在于提出了一种新颖的加性相似度函数和卷积加性标记混合器（Convolutional Additive Token Mixer, CATM），这一设计显著降低了计算开销。 原文链接：https://blog.csdn.net/m0_47867638/article/details/141404169
YOLOv8模型改进 第二十六讲 添加通道混合器 ConvolutionalGated Linear Unit
qq_64693987的博客
12-27 1870
其中一个线性投影（通常是）经过激活函数得到一个介于 0 和 1 之间的值，这个值可以看作是一个门控信号。然后，这个门控信号与另一个未经激活函数处理的线性投影进行逐元素相乘的操作。通过这种方式，门控信号可以动态地控制另一个线性投影中哪些元素被保留，哪些被抑制，从而实现对通道信息的混合和调整。1.1通道混合的目的整合通道信息：不同通道包含了输入数据的不同特征表示，通道混合的一个主要目的是将这些不同通道的信息进行整合，以便网络能够更好地学习到数据的综合特征。
RTDETR改进专栏(包含RTDETR、YOLOV5-DETR、YOLOV8-DETR)
qq_37706472的博客
01-28 2万+
RTDETR改进专栏(性价比高，创新度高)，目前RTDETR改进已经有210+个改进点！
YOLOV8V10改进系列指南
qq_37706472的博客
02-19 9万+
YOLOV8V10改进系列指南，仅仅69.9包含YOLOV8、YOLOV10的两个主流模型改进方案、含有260+种改进的集合，且含有多种二次创新和原创改进！
【ViT系列】更加符合视觉感知 TransNeXt: Robust Foveal Visual Perception for Vision Transformers
qq_40734883的博客
03-23 3241
TransNeXt提出了一种基于仿生中央视觉设计的Token Mixer，即聚合注意力，以及一种带有门控通道注意力的通道混合器，即卷积GLU。将它们结合起来提出了一种强大且高度稳健的视觉模型TransNeXt，该模型在分类、检测和分割等各种视觉任务中实现了最先进的性能。TransNeXt在多尺度推断中的出色表现突显了其在解决深度退化问题方面相对于大内核策略的优势。
TransNeXt：稳健的注视感知ViT学习笔记
athrunsunny的博客
12-28 7296
由于残差连接中的深度衰减效应，许多依赖堆叠层进行信息交换的高效视觉Transformer模型往往无法形成足够的信息混合，导致视觉感知不自然。为了解决这个问题，本文提出了一种基于生物模拟的聚合注意力，这是一种模拟生物注视（biological foveal vision）和连续眼动的设计基础的token mixer，它允许特征图上的每个Token都具有全局感知。
【Backbone】TransNeXt:最新ViT模型（原理+常用神经网络汇总）
qq_45752541的博客
12-05 8222
基于生物模仿视杆细胞视觉设计的Token混合器聚合注意力和一种具有门控通道注意力的通道混合器卷积GLU。作者将它们结合起来，提出一种强大的高度鲁棒的视觉模型TransNeXt，它在各种视觉任务如分类、检测和分割等方面都实现了最先进的性能。TransNeXt在多尺度推理的出色性能突显了它在解决深度衰减问题方面优于大型核策略的优势。此外，作者还提供了一个CUDA实现，在训练中实现了高达103.4%的加速，在推理中实现了60.5%的加速。
YOLO11改进-模块-引入通道混合器 CGLU 提高复杂场景中的检测精度
最新发布
qq_64693987的博客
12-31 2517
Gated Linear Unit（GLU）由两个线性投影通过元素相乘构成，其中一个投影由门控函数激活。与 SE 机制不同，GLU 每个 token 的门控信号源于 token 自身，且其门控分支的感受野并不比值分支大。在此基础上，作者发现于 GLU 门控分支的激活函数前添加最小形式的 3×3 深度卷积，能使结构契合门控通道注意力的设计理念，转化为基于最近邻特征的门控通道注意力机制。
如何在yolov11中添加自己的模块
qq_55421331的博客
11-07 3885
每一代YOLO源码中都会有ultralytics\nn\modules这个目录，这个目录下有以下几个.py文件：现在如果你想使用SPD-Conv卷积《》，先将代码复制到conv.py文件中（如果添加注意力机制就复制到block.py中）：解决代码所需要的各种库后在conv.py的开头__all__添加上SPDConv:这里添加的名字要和你使用的这个类名一致。
CAS-ViT中的AdditiveBlock
12-27
### CAS-ViT 中 AdditiveBlock 的功能与实现详解 #### 功能概述 AdditiveBlock 是 CAS-ViT 架构中的核心组件之一，旨在结合卷积操作与加性自注意机制来增强模型在视觉任务上的表现和效率。这一模块特别强调多信息交互以及高效的上下文信息整合能力。 #### 设计原理 为了获取更丰富的全局上下文信息，CAS-ViT 利用了多维度的信息交换方式，不仅限于传统的空间域处理，还扩展到了通道域的分析[^1]。这种设计使得网络能够更好地捕捉图像特征之间的复杂关系，从而提高识别精度。 #### 加性相似函数的应用 引入了一种新的加性相似度计算方法，它能够在保持较低计算成本的同时有效地融合不同位置间的语义关联。相比于传统基于乘法或点积的方法，这种方法更加简洁快速，并且减少了对于大规模矩阵运算的需求。 #### 结合具体框架实例 根据不同版本 YOLO 对 CAS-ViT 的集成情况可以看出： - **YOLOv8 和 YOLOv10**: 这两个版本都采用了 `C2f` 结构作为基础，在原有基础上加入了来自 CAS-ViT 的 AdditiveBlock 来优化性能[^3][^4]。 - **YOLOv11**: 此版本则进一步探索了其他可能性，选择了 `C3k2` 结构并同样集成了 AdditiveBlock 模块以期达到更好的效果[^2]。 以下是 Python 代码片段展示了如何在一个典型的 PyTorch 环境中定义这样一个 AdditiveBlock 类: ```python import torch.nn as nn from torchvision.models import resnet50 class AdditiveAttention(nn.Module): def __init__(self, channels): super().__init__() self.query_conv = nn.Conv2d(channels, channels//8, kernel_size=1) self.key_conv = nn.Conv2d(channels, channels//8, kernel_size=1) self.value_conv = nn.Conv2d(channels, channels, kernel_size=1) def forward(self, x): Q = self.query_conv(x).mean(-1).transpose(1, 2) # Bx(C/8)xH*W -> Bx(H*W)x(C/8) K = self.key_conv(x).view(Q.size()) V = self.value_conv(x).view(B, C, H * W) attention_scores = F.softmax(torch.bmm(Q, K.transpose(1, 2)), dim=-1) out = torch.bmm(V, attention_scores).reshape_as(x) return out + x class AdditiveBlock(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv_layer = nn.Sequential( nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=(3, 3), stride=(1, 1), padding='same'), nn.BatchNorm2d(out_channels), nn.ReLU() ) self.additive_attention = AdditiveAttention(out_channels) def forward(self, inputs): conv_output = self.conv_layer(inputs) attended_features = self.additive_attention(conv_output) output = conv_output + attended_features return output ``` 此段代码实现了基本的 AdditiveBlock 组件，其中包含了卷积层用于提取局部特征图谱，而附加的关注机制负责加强这些特征表示的学习过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挂科边缘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值