RT-DETR改进策略:双动态令牌混合器(D-Mixer)的TransXNet,实现RT-DETR的有效涨点

研究提出了一种名为TransXNet的新型视觉主干网络,采用双动态令牌混合器(D-Mixer)以输入相关的方式融合全局和局部信息,增强了Transformer模型的泛化能力。D-Mixer通过结合自注意力和输入依赖的深度卷积,实现了动态特征聚合权重,扩大了有效感受野。TransXNet在ImageNet-1K图像分类任务中表现出优越性能,同时计算成本较低。此外,通过在RT-DETR的HGBlock模块中引入HybridTokenMixer进行改进,以及使用TransXNet主干网络替换原有主干,进一步提升了模型性能。
摘要由CSDN通过智能技术生成

摘要

双动态令牌混合器(D-Mixer),一种输入依赖的方式聚合全局信息和局部细节。D-Mixer通过分别在均匀分割的特征片段上应用有效的全局注意力模块和输入依赖的深度卷积,使网络具有强大的归纳偏差和扩大的有效感受野。使用D-Mixer作为基本构建块设计了TransXNet,这是一种新型的混合CNN-Transformer视觉主干网络,可提供引人注目的性能。在ImageNet-1K图像分类任务中,TransXNet-T在计算成本不到Swin-T的一半的情况下,Top-1准确率提高了0.3%。此外,TransXNet-S和TransXNet-B表现出优秀的模型可扩展性,分别实现了83.8%和84.6%的Top-1准确率,同时计算成本合理。

该模型具有以下优点:

  1. 动态特征聚合权重:通过OSRA和IDConv,该模型考虑了全局和本地信息,实现了动态特征聚合,从而为模型提供了强大的表示学习能力。
  2. 输入依赖的深度卷积:为了注入诱导偏置并以动态输入依赖的方式执行本地特征聚合,该模型采用了输入依赖的深度卷积。这种方法有助于扩大模型的有效感受野。
  3. 双动态令牌混合器(D-Mixer):D-Mixer是该模型的基本构建块,它通过结合自注意力和卷积,为Transformer模型提供了强大的泛化能力。通过堆叠多个
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI智韵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值