统一多目标追踪框架：Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification

《Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification》是由商汤、北航＆悉尼大学于２０１９年０１月２１号发表的多目标追踪论文。

论文链接：https://arxiv.org/abs/1901.06129

以往追踪的缺点：１，单目标追踪是短时期的cues，是基于附近桢得到的预测，更新，只包含了当前桢的目标的位置，外表和运动信息，所以发生遮挡时，容易产生目标偏移(drift)，且外表相似的目标容易误追踪。

                                 2，基于ReID的行人跟踪，是长时间的cues,在发生遮挡情况时具有很好的稳定性，能弥补单目标跟踪的缺点，但表现力不及短时间cues的追踪效果好。　　　

优点：１，短时期cues追踪的具有较高的表现效果。

　　　２，长时期cues追踪的有点：长期cues包含轨迹中对象外观特征的轨迹长线索，预测相对比较稳定，能有助于处理单目标短时期检测错误的检测结果，异常的运动情况，漏报(FN)。

 

本文即将两者方法结合使用，在一个网络结构中突出两者的优点。

网络结构：

整个网络运行流程：

　　　　１，起初，目标跟踪集Ｓ为空，t＝１;

　　　　２，在第t桢，对于目标集Ｘ，通过SOT子网络在下一桢Ｉ(t+1)找到的目标模板E(X)，然后输出最大概率的位置Ｄ(track)。

　　　　３，在I(t+1)桢的检测结果D(det),并在它对应的图像检测区域和目标{Ｉ(ti,X)},i=1,2,…Ｋ，将通过ReID子网络提取长时期的ReID特征。

　　　　４，在步骤２中，通过SOT追踪的目标Ｄ(track)位置，和通过检测器检测到的Ｄ(det)的位置，和在步骤３中，获得的ReID特征，联合成匹配特征。

　　　　５，找到目标的潜在切换器等，最有可能的身份切换器，和提取他的SOT和ReID特征。

　　　　６，借助特征匹配的切换器，切换器感知分类器(SAC)使用目标的匹配特征，生成一个匹配分数，检测到的结果是否匹配到目标。在I(t+1)桢，每个检测结果在这一步是重复的，为了获得跟踪目标的匹配分数。

　　　　７，使用跟踪目标与步骤6中的检测结果之间的匹配分数构建跟踪目标和检测结果的二分图。使用最小成本网络流程找到图表的匹配结果。

　　　　８，对于匹配的目标，使用匹配检测的信息更新位置和模板。 对于不匹配的目标，使用SOT结果更新跟踪器位置，并丢弃被认为不可靠或丢失的目标。 对于孤立的检测结果，如果它们的置信度分数满足新目标的条件，它们将被添加到跟踪目标集合中。

　　　　９，对于下一帧，重复步骤2到8，设置t = t + 1，直到不再有帧到达。

 

基于SOT的短时期cues：

                          　

基于行人重识别ReID网络的长时期cues:

        　　作者使用修改的GoogLeNet Inception-v4行人重识别ＲeID子网络作为cnn的骨架。

　　　　　

　　　

在分类识别之前，ReID行人重识别特征在最后一层fc全连接提取。

 

损失函数：１，ＳOT损失：

　　　　　　　

　　　　　２，ReID子网络损失：

　　　　　　

 

实验效果：

　　　　

 

创新点：１，针对短时期的cues，使用了SOT跟踪;

　　　　２，针对长时期的cues，使用了ReID行人跟踪网络;

　　　　３，设计了切换器感知分类器(SAC);