《Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification》简述

引言

  本文提出了具有多种线索和切换器感知分类的MOT方法。利用SOT的最新方法用于捕获短期目标线索，而ReID方法则用于提取长期线索。在数据关联期间，支持切换器的分类器会收集所有长期和短期线索，并考虑潜在的切换器，然后生成分数以构建用于匹配的二分图。

相关工作

  之前有很多工作尝试将SOT方法应用于MOT里，比如Xiang等利用MDP方法以光流跟踪处于跟踪状态的目标；J. Zhu等直接将ECO-HC应用于具有成本敏感损失的视觉对象跟踪任务并设计了一个时空网络用于数据关联。大多数方法都没有将SOT跟踪器生成的线索与其他线索结合在一起，他们将SOT跟踪器和数据关联过程分开，本文将来自SOT的信息与轨迹的长期线索结合在一起，用于学习将检测/跟踪结果关联起来，有助于解决SOT中的漂移问题，而现有的MOT方法中的SOT无法有效解决这些问题。

方法

  网络运行流程：
  Step 1: 初始化目标跟踪集Ｓ为空，t＝１;
  Step 2: 在第t桢，对于目标集Ｘ，通过SOT子网络在下一桢Ｉ(t+1)找到的目标模板E(X)，然后输出最大概率的位置Ｄ(track)。
  Step 3: 在I(t+1)桢的检测结果D(det),并在它对应的图像检测区域和目标{Ｉ(ti,X)},i=1,2,…Ｋ，将通过ReID子网络提取长时期的ReID特征。
  Step 4: 在步骤２中，通过SOT追踪的目标Ｄ(track)位置，和通过检测器检测到的Ｄ(det)的位置，和在步骤３中，获得的ReID特征，联合成匹配特征。
  Step 5: 找到目标的潜在切换器等，最有可能的身份切换器，和提取他的SOT和ReID特征。
  Step 6: 借助特征匹配的切换器，切换器感知分类器(SAC)使用目标的匹配特征，生成一个匹配分数，检测到的结果是否匹配到目标。在I(t+1)桢，每个检测结果在这一步是重复的，为了获得跟踪目标的匹配分数。
  Step 7: 使用跟踪目标与步骤6中的检测结果之间的匹配分数构建跟踪目标和检测结果的二分图。使用最小成本网络流程找到图表的匹配结果。
  Step 8: 对于匹配的目标，使用匹配检测的信息更新位置和模板。对于不匹配的目标，使用SOT结果更新跟踪器位置，并丢弃被认为不可靠或丢失的目标。对于孤立的检测结果，如果它们的置信度分数满足新目标的条件，它们将被添加到跟踪目标集合中。
  Step 9: 对于下一帧，重复步骤2到8，设置t = t + 1，直到不再有帧到达。
本文用于SOT的Siam-RPN结构

  作者使用修改的GoogLeNet Inception-v4行人重识别ReID子网络作为CNN的骨架。

  损失函数如下：
  ①SOT损失函数

  ②ReID子网络损失函数：

实验

  实验主要是在MOT16和MOT17上评估，用的评价指标是CLEAR MOT指标（K. Bernardin and R. Stiefelhagen. Evaluating multiple object tracking performance: the clear mot metrics. Journal onImage and Video Processing, 2008:1, 2008.），在这些指标中，MOTA和IDF1被认为是最重要的。 MOTA包括召回率，精度以及idswitch计数。 IDF1表示平均最大一致跟踪率。
  实验对比结果如下：

总结

  这是商汤投CVPR2019的文章，提出了一个统一的多目标跟踪（MOT）框架，学习充分利用长期和短期线索来处理MOT场景中的复杂情况，基于SiameseRPN单目标跟踪器和行人重识别ReID的多目标跟踪算法，解决长期跟踪下的目标漂移问题，利用SiameseRPN获取短期的目标线索，利用ReID特征计算目标间的匹配置信度，基于该置信度构建二分图，求解最小费用流得到长期的跟踪结果。
  这篇文章和DeepSort一样引入ReID来提升效果，不过这篇文章代码没有开源，暂时只能看看它的思想，但是这种引入单目标跟踪的思想被证明是可行并且有效的，为后续的理论需要提供了一定支撑。