实现真正的端到端多目标跟踪(MOT) --MOTR/MUTR3D中的Label Assignment机制理论和实例详解

关于BEV的其他文章传送门:

自动驾驶感知新范式——BEV感知经典论文总结和对比（上）_bev视角_苹果姐的博客-CSDN博客自动驾驶bev感知经典论文总结和对比https://blog.csdn.net/weixin_43148897/article/details/125940492?spm=1001.2014.3001.5502万字长文盘点时序融合在BEV感知中的应用(上)_bevdet4d_苹果姐的博客-CSDN博客BEV感知时序融合总结(上)https://blog.csdn.net/weixin_43148897/article/details/128043008?spm=1001.2014.3001.5502

一. 端到端多目标跟踪(MOT)的关键

博主最近调研3D MOT(多目标跟踪)领域,大体经历了这三种模式:Tracking by Detection(完全独立的二阶段检测和跟踪),Tracking by Regression(隐式数据关联,即一定程度上融合了检测和跟踪),Tracking by Attention(基于transformer的端到端检测+跟踪).

关于各个类别的具体介绍会抽空做一个整理,概括来说就是检测和跟踪两个模块经历了完全独立-->半融合-->完全融合的过程.这里面的动机显而易见,完全独立的检测和跟踪,也就是跟踪在检测的下游,不仅会带来额外的开销,还会导致跟踪的性能大幅依赖于检测,同时,因为检测和跟踪是紧密结合的,很多二者共用的信息也没有得到充分利用.所以端到端的检测+跟踪是大势所趋.

二阶段SimpleTrack结构图

那么如何能做到一个网络同时给出检测+跟踪结果呢,我们知道Tracking by Detection方法是把整个pipeline分成了目标