端到端“大一统”模型 能否迎来多目标跟踪的终局？

©NLP论文解读 原创•作者 | 朱林

生活中多目标跟踪问题屡见不鲜，比如稠密人群检测、场景识别、智慧交通等场景下多目标跟踪都是避不开的话题。

解决多目标跟踪（Multi-Object Tracking, MOT）问题有两种基本范式，其一是先检测后跟踪（Tracking-by-detection, TBD），将检测和跟踪作为两个独立任务来对待。

另外一种是联合检测和跟踪两个任务（Joint detection and tracking, JDT），进行端到端（End-to-end）地学习训练。

最新研究表明，相较而言，TBD有性能低下、误差累积等诸多问题，而JDT则更有利于整体性能提升，但是构建模型难度较大。

最近的JDT方法，往往仅通过共享骨干网络（Backbone Network）的形式来融合检测和跟踪模型，但是其本质还是将检测和跟踪作为两个独立任务，彼此因果相关性不大。

CVPR2021最新一篇论文提出了一种TraDeS（Track to Detect and Segment）的网络，更彻底地贯彻了端到端的“大一统”思想，利用帧与帧之间的跟踪线索来将检测网络和跟踪网络紧密耦合在了一起。

那这种紧密耦合是如何实现的？这种方法能够迎来多目标跟踪的终局呢？带着思考让我们一起来看下这篇论文。

Introduction

论文标题：

Track to Detect and Segment: An Online Multi-Object Tracker

项目地址：

https://jialianwu.com/projects/TraDeS.html