多目标跟踪--统一跟踪框架论文解读

商汤等新出的多目标跟踪论文Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification。该论文提出了一个融入单目标跟踪网络、ReID网络和数据关联的统一多目标跟踪（MOT）框架。单目标跟踪网络借鉴目前在VOT领域中的最新研究成果Siamese-RPN 用于捕获短期线索有助于补偿检测器由于物体遮挡造成的漏检，解决跟丢问题；ReID 网络用于提取长期线索（提取并累积辨别性的表观特征）避免发生遮挡时的严重错误，解决跟飘问题；而在数据关联中提出了切换器感知分类方法（SAC，switcher-aware classification）以有效的方式组合长短期线索，解决ID 切换问题。统一框架如下图：

该论文提出的统一框架针对多目标跟踪中的难题对症下药，在MOT17中基于该方法的改进确实取得了最佳排名，刷榜的存在：

下面详细解读自认为该文最大的创新之处，数据关联阶段提出的解决方案。对于当前帧，检测器的结果定义为$D_{det}$；各轨迹通过Siamese-RPN得到当前帧的预测定义为$D_{track}$；各轨迹分别维护通过ReID 网络（基础网络为GoogLeNet Inception-v4）累计的K个最优历史表观特征，定义为 { A i } i = 1 K \{A_i\}_{i=1}^K { Ai​}i=1K​，注意文中利用Resnet-18网络来计算最优的度量（输出0~1值，训练其实就是一个二分类器，正样本为与ground truth交并比大于0.6，其余为负样本）；而检测结果对应的表观特征定义为 A d e t A_{det} A<