对目标跟踪SORT的理解学习

SORT

SORT算法为目标跟踪的一个主流分支。该论文在MOT中基于卡尔曼滤波器和匈牙利算法，更换了检测器，使用了CNN的目标检测功能，使得跟踪性能提升了18.9%

需要注意的是，该论文与奥卡姆剃刀（如无必要，勿增实体）保持一致，在跟踪中忽略了检测要素之外的外观特征，只有边界框的位置和大小应用于运动估计和数据关联。并且为了避免引入不必要的复杂度，忽视了长短期遮挡问题，因为它们出现的频率很低。同时，该论文认为以对象重新识别的形式合并复杂度会给跟踪框架带来巨大的开销，所以潜在地限制其在实时应用中的使用。

Keeping in line with Occam’s Razor, appearance features beyond the detection component are ignored in tracking and only the bounding box position and size are used for both motion estimation and data association. Furthermore, issues regarding short-term and long-term occlusion are also ignored, as they occur very rarely and their explicit treatment introduces undesirable complexity into the tracking framework. We argue that incorporating complexity in the form of object re-identification adds significant overhead into the tracking framework – potentially limiting its use in realtime applications.

该方法的目标不是对检测误差的鲁棒性，而是利用视觉目标的检测的最新进展来直接解决检测问题，这种方式提高了在线跟踪的效率和可靠性。

在该方法中，共有4个关键步骤：

• Detection
• Estimation Model
• Data Association
• Creation and Deletion of Track Identities

其中最关键的部分便是Data Association数据关联。

检测

在检测部分，该论文使用了Faster RCNN作为目标检测器，对于Faster RCNN在此不再赘述，需要注意的是，作者对于不同检测器（FrRCNN&ACF）进行了比较，得出结论是检测器的质量对跟踪效果有很大的影响。

评估模型

在评估模型部分，使用一个不依赖其他物体和摄像机运动的线性等速模型来近似每个物体的帧间位移，每个状态的建模为

u，v代表目标中心的水平和垂直像素坐标，比例s和r分别代表目标边界框的比例（面积）和长宽比，剩下为速度分量。长宽比为定植，当检测关联到目标，检测的边界框用于更新目标状态，速度分量通过卡尔曼滤波框架最优求解。如果没有检测与目标相关联，它的状态是简单的预测而不修正使用线速度模型。

数据关联

在数据关联部分，将检测结构分配给目标的过程中，通过预测目标在当前帧中的新位置来估计目标的边界框几何形状，分配代价矩阵由每个和所有已存在目标的预测边界框的IoU距离计算得出，使用匈牙利里算法来匹配，对于IoU小于阈值的拒绝进行匹配，可以有效地解决短期遮挡。

在数据关联中，我们可以重点关注匈牙利算法和KM算法，其思想可以点击链接查看，在此不再赘述，简单概括如下：

对于第 t 帧所有检测结果集合𝓡 𝒕，使⽤ 卡尔曼滤波器 (Kalman Filter) 预测𝓡 𝒕 在第t帧可能的位置𝓡 𝒕 ，并将𝓡 𝒕 与第 t+1 帧实际检测结果集 合𝓡 𝒕+𝟏 进⾏ KM 匹配 (⼆分图匹配问题)。在上述过程中， 𝓡 𝒕+𝟏 中匹配上的检测结果与前⼀帧检测结果共享⼀个 id，从⽽达到跟踪⽬的。

创建和删除追踪ID

当目标进入或离开图像时，需要相应地创建或销毁唯一ID，IoU小于阈值的目标都被表示存在未被跟踪的一项，使用当前的边界框创造新的轨迹ID，并且初始速度设置为0.此外，新的跟踪器将经历一个试用阶段，目标需要与检测数据相关联以积累足够证据防止跟踪误报。

如果对于$T_{loss}$帧没有检测到轨迹，则终止这个轨迹。这防止了在没有来自检测器的校正的情况下由长时间的预测引起的跟踪器数量和定位误差的无限增长。如果一个物体再次出现，跟踪将隐含地以新的身份恢复。

总结

以上便是SORT的主要原理及流程，该论文使用了Faster RCNN来进行模型的检测，并使用卡尔曼滤波预测状态，基于检测框位置和IOU的匈牙利算法，使得算法有很高的效率。不过跟踪的质量很大程度上依赖于检测器的性能。