开放词汇多目标跟踪：OVTR: End-to-End Open-Vocabulary Multiple Object Tracking with Transformer

论文作者：Jinyang Li,En Yu,Sijia Chen,Wenbing Tao

作者单位：Huazhong University of Science and Technology

论文链接：http://arxiv.org/abs/2503.10616v1

项目链接：https://github.com/jinyanglii/OVTR

内容简介：

1）方向：开放词汇多目标跟踪

2）应用：自动驾驶、智能监控、机器人感知、多目标识别与跟踪

3）背景：开放词汇多目标跟踪的目标是在训练时泛化到未见类别，使其适用于各种现实场景。然而，现有方法受限于框架结构、独立的帧级感知以及模态交互不足，导致其在开放词汇分类和跟踪方面表现受限。

4）方法：本文提出 OVTR（End-to-End Open-Vocabulary Multiple Object Tracking with Transformer），这是首个端到端的开放词汇多目标跟踪模型，能够同时建模运动、外观和类别信息。为实现稳定分类和连续跟踪，设计了 CIP（Category Information Propagation） 策略，在后续帧中建立多个高层类别信息先验。此外，引入双分支结构以增强泛化能力和深度多模态交互，并在解码器中加入保护策略以提升性能。

5）结果：实验结果表明，该方法在开放词汇多目标跟踪（MOT）基准测试上优于现有方法，同时具备更快的推理速度，并显著减少预处理需求。此外，跨数据集实验验证了其较强的适应能力。代码：https://github.com/jinyanglii/OVTR