SORT简述

引言

  MOT问题可以看成是数据关联问题，其目的是将视频序列帧中的检测结果相关联。本文提出一种针对多目标跟踪问题的方法，依旧使用tracking-by-detection思想，该方法主要针对在线跟踪，其中只有前一帧和当前帧的检测被呈现于跟踪器，侧重于高效可靠地处理常见的帧到帧间的关联，利用目标检测的最新进展来解决检测问题，不做目标检测误差针对性解决。此外，两种经典而又极其有效的方法，卡尔曼滤波和匈牙利算法分别用作处理跟踪中的运动预测和数据关联。

  从上图中可以看出，目前精度较好的模型速度都太慢，不能达到实时的要求。

相关工作

  传统的多目标跟踪算法缺点是决策太慢并且不确定性很高，复杂度随被跟踪的数量指数增长，因此其在高度动态的环境中不切实际。
  在线检测的常用方法是构造外观模型和运动模型，辅助目标匹配。将匹配问题考虑为一对一模型。Geiger将匈牙利算法应用于两阶段跟踪. 第一阶段匹配相邻帧，第二阶段匹配跟踪小片段，连接那些由遮挡导致的破碎轨迹。
  本文提出的方法受上述方法的启发，不过作者简化为单阶段的匹配使其适用于在线跟踪。

方法

  本文提出的方法可分为这几个关键部分：目标检测，将目标状态传递到未来帧中，将传入的状态信息与现有检测结果关联，管理跟踪对象的生命周期。
  1）目标检测
  对比Faster RCNN和ACF检测，得到下图：

  可以看出检测质量对跟踪质量有显著的影响，显示最好的检测器Faster RCNN（VGG16）会使得MDP和本文提出的方法的跟踪精度都达到最佳。
  （2）估计模型
  当检测与目标相关联时，检测到的边界框用于更新目标状态，其中速度分量通过卡尔曼滤波框架最优地求解；否则，目标的状态用线性速度模型来预测，无矫正过程。
  （3）数据关联
  在为现有目标分配检测时，每个目标框的边界框都是通过预测当前帧新的位置估计得到的。分配代价矩阵通过每个检测结果和所有现有目标的预测框间的IOU距离计算得到。分配方法通过使用匈牙利算法得到最佳优化。此外，到检测到的IOU与预测目标物间IOU小于IOUmin阈值时，检测的物体将被拒绝分配。
  （4）跟踪ID的建立和删除
  当物体进入和离开图像时，相应的ID需要被对应创建或销毁。
如果detection和target的重叠率小于IOU阈值，认为此track应当删除；如果在TLost 帧内没有对应的 detection 与 track 匹配，就将此track删除。

实验

  实验在MOT数据集上做评估，结果如下图：

  其中评价指标有：
  MOTA(↑): Multi-object tracking accuracy.
  MOTP(↑): Multi-object tracking precision.
  FAF(↓): number of false alarms per frame.
  MT(↑): number of mostly tracked trajectories. I.e. target has the same label for at least 80% of its life span.
  ML(↓): number of mostly lost trajectories. i.e. target is not tracked for at least 20% of its life span.
  FP(↓): number of false detections.
  FN(↓): number of missed detections.
  ID sw(↓): number of times an ID switches to a different previously tracked object.
  Frag(↓): number of fragmentations where a track is interrupted by miss detection
  ↑ ：表示越高越好，↓ :表示越低越好；
  实验结果可以得出：SORT达到最高的MOTA，且丢失的目标(ML)最少；并且SORT速度很快，在single core of an Intel i7 2.5GHz machine with 16 GB memory上可达到260Hz，同时维持了很高的精度。这是其它算法无法匹敌的。

总结

  本文证明了跟踪质量在很大程度上取决于检测性能，所提出的SORT算法主要由检测器，卡尔曼滤波算法，匈牙利算法匹配三个重要部分组成，使用了Faster RCNN来进行模型的检测，并使用Kalman滤波预测状态，基于检测框位置和IOU的匈牙利算法匹配跟踪，实验结果表明，该算法速度很快，同时维持了很高的精度，而其他方法通常会牺牲一个。SORT框架的简单性使其非常适合作为基线。