解读CVPR2024-论文分享|TransNeXt: Robust Foveal Visual Perception for Vision 面向视觉Transformer的鲁棒性中央凹视觉感知

论文标题

TransNeXt: Robust Foveal Visual Perception for Vision Transformers

TransNeXt：面向视觉Transformer的鲁棒性中央凹视觉感知

论文链接：

https://arxiv.org/abs/2311.17132

论文作者

Dai Shi (daishiresearch@gmail.com)

内容简介

这篇论文提出了一种新的基于视觉变换器（Vision Transformers，简称ViT）的模型，名为TransNeXt，旨在解决现有ViT模型在信息混合和深度退化方面的问题。TransNeXt通过模拟生物视觉系统，特别是人类视网膜视觉和眼球连续运动，来增强模型的全局感知能力。此外，TransNeXt还引入了可学习的令牌（tokens）与常规查询（queries）和键（keys）进行交互，进一步增强了亲和力矩阵的生成。TransNeXt在多个视觉任务中表现出色，包括图像分类、目标检测和语义分割，并在多个模型尺寸下实现了最先进的性能。