LSTC-SAC

论文地址：Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification

1. 概述

SAC算法是“商汤+北航+悉尼大学”合作提出的一种 online-MOT 算法，且有可选的 batch mode，算法整体内容比较庞杂（让我怀疑其处理速度是不是很慢）；不得不承认，SAC算法的MOTA和IDF1性能都很优秀，尤其FN和IDSW问题得以较好地处理。

严格意义上讲，SAC算法的创新点在于其整体框架的设计思想，而其所用的具体模型、算法等并没有很大创新。值得一提的是，算法中通过简单的IOU指标，为每一个detection找到了其potential ID switcher（即最可能和其发生IDSW的目标），来提高模型抗IDSW的能力。

• 框架创新： 设计了两个子结构（SOT subnet、ReID subnet）用于提取轨迹和检测框间的短期特征（STC）和长期特征（LTC）；用上述特征提取器来提取 track、switcher、detection 间的特征，输入到 SAC 分类器中；利用SAC输出的匹配得分构建二分图，来进行数据关联得到tracklets，并可以通过聚类算法进一步得到更准确地trajectories。
• 所用模型：SOT subnet 使用了Siamese RPN；ReID subnet 使用了改进的GoogleNet-v4；SAC 使用了 XgBoost DT；Quality Filter 使用了ResNet-18。

其整体设计架构如下图：

2. 架构

上图是我对整个SAC算法的大致总结，基本思路如下：

• SOT subnet： 利用SOT算法对track进行下一帧检测框预测，从而利用预测框和检测框之间的IOU作为 short term features（文中的长短期特征，其实就是对track和detection匹配度的衡量）；
• ReID subnet： 利用track的历史信息，挑选出K个最佳帧，输入到ReID网络中来提取特征（detection也用该网络提取一下特征），最后用余弦距离计算K个track帧与detection之间的相似度，输出的K维信息即为 long term features；
• Switcher： 利用IOU信息为当前track在当前帧找一个potential switcher（标记为$\Lambda$）；
• SAC： 现在我们有 track X、detecion D、switcher $\Lambda$；并且有两个特征提取器 SOT、ReID；我们将“X+D”、“$\Lambda$+D”分别输入到特征提取器中，最终得到两个（K+1）维的特征；将这些特征输入到SAC（XgBoost）中，即可得到X和D的匹配分数y，若y超过一定阈值则将(1-y)作为X和D之间的匹配损失cost；
• Bipartite Graph： 利用上面得到的匹配损失cost，即可构建出二分图，从而可以用最小损失流算法来进行数据关联；
• PostProcess： 完成数据关联后，需要对track信息进行更新，并处理进场、出场问题；
• Batch Mode： 上述算法都是online模式的算法，为了提高性能，可以利用批聚类来对跟踪结果进行改善；原文中3.6部分对此进行了清晰的说明（因为我感觉它将tracklet拆成isolated nodes的这一步挺迷的，这里就不详细介绍了）；

3. 性能

我们已经看到，SAC算法性能还是很突出的（毕竟结合了这么多想法、模型~）

• STC 特征有助于提升MOTA性能（尤其可以缓解FN问题）；
• ReID 特征有助于提升IDF1性能（IDP、IDR、IDSW性能都得以强化）；
• SAC 的设计又对其IDF1性能进行了进一步提升；

原文中4.3部分专门进行了消融实验，来证明框架设计的合理性

4. 总结

（日常交给作者）