RT-DETR改进策略：双动态令牌混合器（D-Mixer）的TransXNet，实现RT-DETR的有效涨点

已于 2023-12-16 17:33:39 修改
阅读量2.2k 收藏 19
点赞数 24
分类专栏： RT-DETR实战与改进手册 文章标签： 计算机视觉 目标检测
于 2023-12-13 06:47:22 首次发布
不能复制，转发
本文链接：https://blog.csdn.net/m0_47867638/article/details/134962475
版权
研究提出了一种名为TransXNet的新型视觉主干网络，采用双动态令牌混合器（D-Mixer）以输入相关的方式融合全局和局部信息，增强了Transformer模型的泛化能力。D-Mixer通过结合自注意力和输入依赖的深度卷积，实现了动态特征聚合权重，扩大了有效感受野。TransXNet在ImageNet-1K图像分类任务中表现出优越性能，同时计算成本较低。此外，通过在RT-DETR的HGBlock模块中引入HybridTokenMixer进行改进，以及使用TransXNet主干网络替换原有主干，进一步提升了模型性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要

双动态令牌混合器（D-Mixer），一种输入依赖的方式聚合全局信息和局部细节。D-Mixer通过分别在均匀分割的特征片段上应用有效的全局注意力模块和输入依赖的深度卷积，使网络具有强大的归纳偏差和扩大的有效感受野。使用D-Mixer作为基本构建块设计了TransXNet，这是一种新型的混合CNN-Transformer视觉主干网络，可提供引人注目的性能。在ImageNet-1K图像分类任务中，TransXNet-T在计算成本不到Swin-T的一半的情况下，Top-1准确率提高了0.3％。此外，TransXNet-S和TransXNet-B表现出优秀的模型可扩展性，分别实现了83.8％和84.6％的Top-1准确率，同时计算成本合理。

该模型具有以下优点：

  1. 动态特征聚合权重：通过OSRA和IDConv，该模型考虑了全局和本地信息，实现了动态特征聚合，从而为模型提供了强大的表示学习能力。
  2. 输入依赖的深度卷积：为了注入诱导偏置并以动态输入依赖的方式执行本地特征聚合，该模型采用了输入依赖的深度卷积。这种方法有助于扩大模型的有效感受野。
  3. 双动态令牌混合器（D-Mixer）：D-Mixer是该模型的基本构建块，它通过结合自注意力和卷积，为Transformer模型提供了强大的泛化能力。通过堆叠多个
了解本专栏 订阅专栏 解锁全文
RT-DETR算法改进：超多种主干网络改进，包括CNN和Transformer多种核心网络结构
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-13 1010
RT-DETR算法改进｜超多种Backbone、CNN和Transformer核心网络结构合集
RT-DETR最新结构改进：首发最新改进，极简高效，改进升级版UniRepLKNet(博客内附源代码)，适用于图像识别，即插即用打破性能瓶颈
包括YOLOv5、YOLOv7、YOLOv8等模型改进
12-01 1077
RT-DETR最新Backbone结构改进：UniRepLKNet
RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT，增强空间信息的感知能力
最新发布
Limiiiing的博客
01-22 292
RMT模型是一种具有显式空间先验的视觉骨干网络，旨在解决中自注意力机制存在的问题。
RT-DETR算法改进：更换损失函数XIoU损失函数，相比较CIoU改进涨点，YOLO改进Trick，提升网络模型性能、收敛速度和鲁棒性，提升RT-DETR检测精度
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-20 890
RT-DETR算法改进 | 更换损失函数XIoU损失函数
YOLO/RtDETR改进创新
llz19670的博客
07-22 635
随着Mamba在序列建模上的效果，Mamba进入到了视觉任务，在视觉任务中主要是采用双向的SSM结构，在YOLO或者是RTDETR中有一个C2F结构，在yolov10中修改成了C2f-CIB结构，这里的创新是将CIB替换了原先的Bottleneck块，同样的我们做的一个工作是使用Mamba2中的SSD模块替换CIB从而将C2fCIB改为了我们的C2f-SSD模块。
【RT-DETR有效改进】轻量级下采样方法ContextGuided（参数量下降700W，轻量又涨点）
Snu77的博客
02-06 5417
本文给大家带来的是改进机制是一种替换Conv的模块，其是在CGNet论文中提出的一种模块，其基本原理是模拟人类视觉系统依赖上下文信息来理解场景。CG block 用于捕获局部特征、周围上下文和全局上下文，并将这些信息融合起来以提高准确性。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，同时本文的改进也支持主干上的即插即用，本文内容也支持PP-HGNetV2版本的修改。
RT-DETR改进策略：BackBone改进|使用StarNet改进RT-DERT，显著提升性能与效率
m0_47867638的博客
09-16 1261
本文介绍了我们如何将最新的StarNet模型成功应用于实时目标检测任务中，特别是用于改进RT-DERT（一种高效的实时目标检测网络）的主干网络部分。通过详尽的实验和理论分析，我们证明了StarNet不仅能够显著增强RT-DERT的检测精度，同时保持了高效的计算性能和低延迟特性。这一创新性的改进为实时目标检测领域带来了新的视角和实用的解决方案。近年来，实时目标检测技术在自动驾驶、视频监控、机器人视觉等领域的应用日益广泛。然而，实现高精度与高效率的平衡一直是该领域面临的重要挑战。
RT-DETR改进策略：BackBone改进|PoolFormer赋能RT-DETR，视觉检测性能显著提升的创新尝试
m0_47867638的博客
09-25 530
在深度学习的广阔领域中，目标检测作为计算机视觉的基石任务之一，始终吸引着研究者的广泛关注。近期，我们大胆尝试将前沿的PoolFormer主干网络引入经典的目标检测框架RT-DETR中，这一创新性融合不仅为RT-DETR注入了新的活力，更在检测精度与效率上实现了双重飞跃，成为目标检测领域的一股强劲新风。PoolFormer，作为MetaFormer家族的一员，以其独特的池化注意力机制脱颖而出。
RT-DETR改进策略：BackBone改进|RIFormer在YoloV8中的创新应用与显著性能提升
m0_47867638的博客
10-01 399
通过百度网盘分享的文件：RT-DETR改进策略：BackBone改进RIFormer在Yolo..
RT-DETR改进策略：BackBone改进|CAFormer在RT-DETR中的创新应用，显著提升目标检测性能
m0_47867638的博客
10-09 705
在目标检测领域，模型性能的提升一直是研究者和开发者们关注的重点。近期，我们尝试将CAFormer模块引入RT-DETR模型中，以替换其原有的主干网络，这一创新性的改进带来了显著的性能提升。CAFormer，作为MetaFormer框架下的一个变体，结合了深度可分离卷积和普通自注意力机制的优势。在底层阶段，CAFormer采用深度可分离卷积作为令牌混合器，有效降低了计算复杂度并保持了良好的性能；而在顶层阶段，则引入普通的自注意力机制，以更好地捕获长距离依赖性。
RT-DETR改进|爆改模型|涨点|使用VMamba作为骨干网络（附代码+修改教程）
m0_51665349的博客
10-09 4095
本文修改的模型是RT-DETR，在原本的RT-DETR中，使用ResNet作为骨干网络，本文使用最新的VMamba（Visual State Space Model）替换ResNet作为RT-DETR的骨干网络。VMamba是一种全新的视觉框架，VMamba结合了CNNs和ViTs的优势，同时优化了计算效率，能够在保持全局感受野的情况下实现线性复杂度。
【RT-DETR有效改进】利用YOLOv9的GELAN模块替换RepC3结构（附轻量化版本 + 高效涨点版本 + 手撕结构图）
Snu77的博客
02-24 3286
本文给大家带来的改进机制是利用2024/02/21号最新发布的YOLOv9其中提出的GELAN模块来改进RT-DETR的RepC3结构，GELAN融合了CSPNet和ELAN机制同时其中利用到了RepConv在获取更多有效特征的同时在推理时专用单分支结构从而不影响推理速度，同时本文的内容提供了两种版本一种是参数量更低涨点效果略微弱一些的版本（参数量V8n下降80w，计算量为6.1GFLOPs），另一种是参数量稍多一些但是效果要不参数量低的效果要好一些（均为我个人整理），提供两种版本是为了适配不同需求的读者，
YOLOv11改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升，含二次创新
Limiiiing的博客
10-30 461
本文记录的是利用聚焦线性注意力模块优化的目标检测网络模型。的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题，克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到v11中，进一步发挥其性能。FLatten Transformer: Vision Transformer using Focused Linear Attention基于上述分析，结构如下： O=Sim(Q,K)V=ϕp(Q)ϕp(K)TV+DWC(V)O = Sim(Q, K)V=\phi_p(Q)\phi_p
【RT-DETR有效改进】结合SOTA思想利用双主干网络改进RT-DETR（全网独家创新，重磅更新）
Snu77的博客
03-04 6953
本文给大家带来的改进机制是结合目前SOTAYOLOv9的思想利用双主干网络来改进YOLOv8（本专栏目前发布以来改进最大的内容，同时本文内容为我个人一手整理全网独家首发 | 就连V9官方不支持的模型宽度和深度修改我都均已提供，本文内容支持RT-DETR全系列模型均可使用，本文的内容超级适合想要发表论文的读者创新性不够，工作量不够的，本文的改进在感官上给人就有一种工作量多和创新点十足的感觉，同时本专栏内容以后均采用NEU-DET数据集进行对比实验模型（避免大家质疑数据集质量的问题），本文内容为独家整理！。
【RT-DETR有效改进】InnerIoU思想结合传统 EIoU、SIoU、WIoU损失思想（小目标涨点效果明显）
Snu77的博客
11-28 3742
本文给大家带来的是RT-DETR最新改进，为大家带来最近新提出的InnerIoU的内容同时用Inner的思想结合SIoU、WIoU、GIoU、DIoU、EIOU、CIoU等损失函数，形成 InnerIoU、InnerSIoU、InnerWIoU、等新版本损失函数，同时还结合了AIpha思想，形成的新的损失函数，其中Inner的主要思想是：引入了不同尺度的辅助边界框来计算损失，(该方法在处理非常小目标的检测任务时表现出良好的性能(但是在其它的尺度检测时也要比普通的损失要好)。
YOLOv8改进 | 主干篇 | 2024.5全新的移动端网络MobileNetV4改进YOLOv8（含MobileNetV4全部版本改进）
Snu77的博客
05-08 8145
本文给大家带来的改进机制是MobileNetV4，MobileNetV4是一种高度优化的神经网络架构，专为移动设备设计。它最新的改动总结主要有两点，采用了通用反向瓶颈（UIB）和针对移动加速器优化的Mobile MQA注意力模块（一种全新的注意力机制）。这些创新有助于在不牺牲准确性的情况下，显著提高推理速度和计算效率。MobileNetV4作为一种移动端的网络，其实它的论文中主要是配合蒸馏技术进行改进，大家可以搭配本专栏的蒸馏进行二次创新涨点。
YOLOv9改进策略【注意力机制篇】| 添加SE、CBAM、ECA、CA、Swin Transformer等注意力和多头注意力机制
Limiiiing的博客
08-22 2065
这篇文章带来一个经典注意力模块的汇总，虽然有些模块已经发布很久了，但后续的注意力模块也都是在此基础之上进行改进的，对于初学者来说还是有必要去学习了解一下，以加深对模块，模型的理解。
【RT-DETR有效改进】轻量级视觉变换器RepViT改进特征提取网络（轻量化网络）
Snu77的博客
01-17 2788
本位给大家带来的改进机制是RepViT。它是一种最新发布的网络结构，把轻量级的视觉变换器（就是ViT）的设计理念融入到了我们常用的轻量级卷积神经网络（CNN）里。我尝试把它用在RT-DETR的主干网络上，效果还不错，mAP有一定的提高。我用的是这个网络中最轻量级的版本。我将其用于在我的数据上实验（包含多个类别其中包含大中小多个目标类别），无论哪种目标，精度均有所提升。接下来，我会展示一下原始版本和我改进后版本在训练上的对比图。之后会在文章中介绍该网络结构，然后教大家如何修改该网络结构。
RT-DETR改进专栏
12-29
### RT-DETR 的改进方法 为了提升实时目标检测的效果，RT-DETR引入了多种创新机制来优化模型性能。具体来说： #### 双动态令牌混合器（D-Mixer） 双动态令牌混合器是一种新颖的设计，旨在更有效地融合全局和局部信息。通过这种方式，模型能够在更大范围内捕捉特征，并增强其归纳偏置能力[^3]。 这种设计允许模型根据输入数据自适应调整关注区域，从而提高对复杂场景的理解能力和鲁棒性。相比于传统的方法，这种方法可以显著增加有效感受野（ERF），进而改善整体检测精度。 ```python class D_Mixer(nn.Module): def __init__(self, config): super(D_Mixer, self).__init__() # 定义用于处理全局和局部信息的组件 def forward(self, x): global_info = self.global_mechanism(x) local_info = self.local_mechanism(x) mixed_output = torch.cat((global_info, local_info), dim=1) return mixed_output ``` ### 最新研究进展 最新的研究表明，采用双动态令牌混合器后，RT-DETR系列模型在多个公开测试集上的表现均有明显进步。特别是在COCO val2017数据集中，不同版本的RT-DETR取得了如下成绩： - **RT-DETR-L**: 实现了53.0%的AP以及114 FPS的速度； - **RT-DETR-X**: 达到了更高的54.8% AP 和 74 FPS 的速度； - **RT-DETR-R50**: 提供了53.1% AP 和 108 FPS 的平衡选项； - **RT-DETR-R101**: 则进一步提升了至54.3% AP 和同样74 FPS 的速度[^1]。 这些结果显示，在不牺牲速度的前提下，RT-DETR能够提供更加精确的目标检测结果，成为该领域内新的标杆之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI智韵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值