顶刊TNNLS 2025！TransXNet：通用的视觉Backbone，性能强大！-CSDN博客

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号：CVer2233，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

[TNNLS 2025 | 通用的视觉Backbone] TransXNet: 全局动态性+局部动态性=性能强大，代码已开源！

TransXNet: Learning both global and local dynamics with a dual dynamic token mixer for visual recognition

论文：https://goo.su/Y7FONnb

代码：https://github.com/LMMMEng/TransXNet

摘要：

香港大学计算机系俞益洲教授(https://i.cs.hku.hk/~yzyu/index.html)及其研究团队开发了一种新型的通用视觉backbone—TransXNet，该模型同时融合了全局和动态性。其创新之处在于引入了一个即插即用的模块，名为Dual Dynamic Token Mixer（D-Mixer）。与以往的卷积和self-attention混合模块或全局与局部信息融合模块不同，D-Mixer专注于动态性的捕捉。具体来说，D-Mixer能够利用网络上一层的feature maps信息，生成用于提取当前feature maps的全局和局部动态权重，从而显著增强模型对多尺度特征的动态表征能力。为了验证TransXNet的性能，研究团队分别在ImageNet-1K、COCO 2017和ADE20K数据集上进行了广泛的实验，结果表明，TransXNet作为一个通用视觉模型，展现出了卓越的性能。

动机：

在本文中，作者深入探讨了self-attention和卷积在权重计算方式上的不同，并基于此提出了改进方案。作者指出，self-attention之所以性能卓越，部分原因在于其权重（即attention matrix）会根据不同的输入动态变化，这种input-dependent的特性使得模型能够更好地捕捉输入数据的特征。相比之下，传统的卷积操作中的权重是静态的，与输入数据无关，即input-independent，这限制了其表征能力。据此，作者进一步分析了将self-attention和卷积简单结合时可能遇到的问题：

表征能力差异：由于卷积缺乏类似self-attention的动态性，这导致在卷积-attention混合模块中，self-attention的语义建模能力可能会被削弱，因为卷积部分的静态特性限制了整体模块的表征能力。

深层模型的挑战：在深层模型中，self-attention能够利用先前特征图的全局和局部信息来生成动态的attention matrix，从而提高模型的性能。然而，卷积核的静态特性使其无法利用这些信息来动态调整，这限制了模型在深层结构中的表现。

方法：

为了解决上述问题，作者提出了一个即插即用模块 D-Mixer。该模块能够动态地捕获全局和局部信息，从而使网络兼具大感受野和稳定的归纳偏置。如图1（a）所示，对于给定的输入特征图，D-Mixer 首先会将其沿通道拆分为两部分，并分别将这两部分输入到两个不同的模块中，即 Input-dependent Depthwise Convolution（IDConv）以及 Overlapping Spatial Reduction Attention（OSRA）。输出结果会进一步进行拼接，并且由一个轻量级的 Squeezed Token Enhancer（STE）进行整合。以下为不同模块的具体描述：

图1 D-Mixer

Input-dependent Depthwise Convolution (IDConv)：如图1（b）所示，对于任意输入特征图，作者首先使用一个自适应平均池化层聚合空间上下文，并将空间维度压缩为 K×K 大小，其中 K 为待生成的动态卷积核的大小。紧接着，输出的特征图被送入两个 1×1 卷积层中，并生成一个多组空间注意力图，维度为 A∈G×C×K×K，其中 G、C 分别表示注意力图的组数以及输入特征图的通道大小。并且在 G 维度上使用 softmax 函数对注意力图进行归一化，使其具备自适应的选择能力。最后，通过将注意力图和一组维度同为 G×C×K×K 的可学习参数进行逐元素相乘来生成动态卷积核，并将其用于输入特征图的特征提取。IDConv 可以根据上一层特征图携带的语义信息来动态地生成卷积核的权重，进而可以与 self-attention 进行深度嵌合。

Overlapping Spatial Reduction Attention (OSRA): 如1图（c）所示，OSRA 的整体流程和 PVT 中提出的 Spatial Reduction Attention（SRA）类似，都采用了 token-to-region 的全局建模方式。主要不同之处在于，SRA 在降采样的过程中使用的是 Non-overlapping 的卷积，即卷积核大小和步长大小一致。因此，一些连续的局部信息会在这个过程中被破坏，从而降低 key/value 分量包含的空间结构信息。据此，OSRA 引入了 Overlapping 卷积来进行降采样，即卷积核的大小大于步长。此外，OSRA 还引入了一个轻量的局部算子（以 3×3 的 depthwise 卷积实现）来进一步提炼 key/value 分量的局部信息。

Squeezed Token Enhancer (STE)：为了高效地将 IDConv 和 OSRA 处理后的特征进行融合，本文引入了一个轻量级的特征融合模块 STE。如图1（d）所示，STE 通过一个 3×3 的 depthwise 卷积和两个通道压缩的 1×1 卷积来实现特征融合。值得一提的是，STE 相较于直接使用一个全连接层进行特征融合具有更好的性能以及更优的计算复杂度。

TransXNet 整体架构：如图 2 所示，TransXNet 的基本构成部分主要包含 D-Mixer 和 Multiscale Feed-forward Network（MS-FFN）。其中，MS-FFN 使用了基于不同卷积核大小的 depthwise 卷积来提取多尺度信息。由于 TransXNet 同样沿用了 ResNet 和 Swin Transformer 中的金字塔设计，因此，该网络可以应用到各类视觉任务中。

图2 TransXNet整体架构

实验结果：

1. 图像分类：TransXNet 在大规模数据集 ImageNet-1K 上表现出了卓越的性能，相较于现有方法，展现出更为出色的性能以及更加优秀的tradeoff，如图 3 所示。

图3 不同模型在ImageNet-1K上的性能对比

2. 目标检测：如表 1 所示，在 COCO 2017 数据集上，TransXNet 同样展示出了更优的性能。值得注意的是，TransXNet 在处理小目标时比强调局部性的 Slide-Tranformer 性能更好，充分展现了 TransXNet 利用全局和局部动态性的强大能力。

3. 语义分割：如表 2 所示，TransXNet 在 ADE20K 上也进行了全面的评估，其性能在与一些强大的 Vision Backbones 的比较中脱颖而出，并且有着更优秀的tradeoff。

4. 消融研究：如表 3 所示，TransXNet 对核心模块进行了广泛的消融实验，例如与不同 token mixer 的性能对比以及和不同动态卷积的性能对比等。可以看出，TransXNet 中的核心部件相较于其他算法有着更加出众的性能。除此之外，原文还包含有更多的性能和效率对比及分析。

表1 目标检测和实例分割性能对比

表2 语义分割性能对比

表3 核心部件的消融研究

5. 可视化研究：

动态卷积在卷积 - Attention 混合模型中重要性：

如图 4 (a) 所示，在动态卷积的加持下，卷积-Attention 混合模型能够拥有更大的有效感受野（Effective Receptive Field, ERF）。其中，所提出的 IDConv 展现出了最好的性能，表明其可以更好地配合 self-attention 模块来捕获上下文信息。

不同 Vision Backbones 的 ERF 对比：

如图 4 (b) 所示，TransXNet 在具有最大感受野的同时还具备显著的局部敏感度，这是其他模型无法兼备的能力，进一步表明了全局和局部动态性的重要性。

图4 不同模型有效感受野（Effective Receptive Field, ERF）对比

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2025 论文和代码下载

在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CV垂直方向和论文投稿交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看