Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking（多目标跟踪MOT）

Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking（多目标跟踪MOT）

论文：https://arxiv.org/pdf/2203.14360.pdf
代码：https://github.com/noahcao/OC_SORT

今天先讲文章解读和其原理、伪代码等，下篇文章详细分析其各个功能的代码的实现并复现论文。文章详细讲解了卡尔曼滤波的原理，及其匀速估计的缺陷。

0 、摘要

运动建模通过预测短期轨迹和过去的观测结果来促进对象关联，近年来的研究相对较少。MOT中的当前运动模型通常假设对象运动在小时间窗口内是线性的，并且需要连续观察，因此这些方法对遮挡和非线性运动敏感，并且需要高帧率视频。 在这项工作中，我们证明了一个简单的运动模型可以在并没有外观等其他线索的情况下获得艺术状态跟踪性能。我们强调了“观察”在从丢失的轨迹中恢复轨迹和减少丢失期间线性运动模型累积的误差时的作用。 因此，我们将提出的方法命名为以观察为中心的排序，简称OC-SORT。它仍然简单、在线、实时，但提高了对遮挡和非线性运动的鲁棒性。它在MOT17和MOT20上分别实现了63.2和62.1 HOTA，超过了所有已发布的方法。它还为KITTI行人跟踪和DanceTrack设定了新的技术状态，其中物体运动是高度非线性的。

阅读总结：
1、当前MOT运动模型：假设对象运动在小时间窗口内是线性的，需要连续观察和高帧率 —> 对遮挡和非线性运动敏感
2、 OC-SORT：强调了“观察”在从丢失的轨迹中恢复轨迹和减少丢失期间线性运动模型累积的误差时的作用。

1、介绍

我们的目标是开发一种基于运动模型的多目标跟踪方法，该方法对遮挡和非线性目标运动具有鲁棒性。 我们的动机是，在遮挡或非线性运动期间，大多数常见错误都是由使用假设线性运动的模型引起的。 与目标检测和再识别相比，近年来运动模型的研究相对较少。 我们认为，需要做更多的工作来开发运动模型。我们认识到线性运动模型在视频多目标跟踪中的一些局限性，并发现通过解决这些局限性，我们可以在不使用视觉外观等其他线索的情况下获得更高的性能。 一种广泛使用的基于运动模型的MOT算法是SORT[5]，它使用卡尔曼滤波器（KF）来估计目标运动。由于KF具有线性运动假设，SORT更适用于高帧速率视频，其中连续帧之间的对象运动可以近似为线性。
然而，一些挑战可能会扭曲其估计过程，例如遮挡和非线性对象运动。之前的工作还引入了其他线索，比如外观特征，以应对这些挑战。 相比之下，我们提出了一种不同的观点， 即当估计不可靠时，以观测为条件而不是以估计为中心， 可以提高KF的稳健性。这种以观察为中心的设计以纯粹基于运动的方式在现代MOT基准上实现了最先进的性能。 我们从重新思考SORT，认识到它的 三个局限性：
（1）尽管物体的运动可能是近似线性，使用高帧速率数据也可以放大对状态噪声的敏感性。具体地说，在高帧率视频的连续帧之间，物体位移的噪声可能与实际物体位移的大小相同，导致KF估计的物体速度存在较大的方差；
（2） 由于遮挡或非线性运动，当没有新的对象观测（来自检测）与现有轨迹匹配时，对象状态噪声会进一步累积。我们证明了在这种情况下，KF对目标位置估计的误差累积是关于时间的平方阶；
（3） SORT是以估计为中心，这意味着它严重依赖KF状态估计，并且仅将观测值用作辅助信息。然而，我们相信，现代物体探测器的发展使观测比以往任何时候都更加可靠，因此我们应该让我们的跟踪器更加关注观测。

为了解决这些局限性，我们认为观测可以提供强有力的证据来估计轨迹的动量，并从丢失的轨迹中恢复轨迹。为了实现这一目标，我们提出了三项创新：
（1） 我们设计了一种以观测为中心的在线平滑（OOS）策略，以缓解KF中由于缺少观测而导致的误差累积。在将非激活轨迹重新关联到观测值的帧中，我们首先为该对象构建一条虚拟轨迹，从取消跟踪之前的最后一个观测值开始，到新匹配的观测值结束。沿着这个虚拟轨迹，我们平滑KF参数，以获得更好的目标位置估计；
（2） 我们建议将轨迹的方向一致性纳入成本矩阵，以便更好地匹配轨迹和观测值。该设计是由直线运动假设中的轨迹动量驱动的，因此我们称之为观测中心动量（OCM）。我们还在附录中提供了分析证明，在大时间窗下估计两点之间的方向可以降低对噪声的敏感性；
（3） 为了处理在短时间内由于遮挡而无法跟踪的对象的情况，我们还建议通过将其最后的观察结果与新的观察结果相关联来恢复它们，我们称之为以观察为中心的恢复（OCR）。

我们的贡献总结如下：
（1） 我们从分析和经验上认识到SORT的三种局限性：对状态噪声敏感、随时间累积的误差、以估计为中心；
（2） 针对遮挡和非线性运动下的鲁棒跟踪问题，我们提出了OC-SORT算法，该算法有三个创新点：OOS、OCM和OCR；
（3） 我们的OC-SORT在现代MOT基准上实现了新的最先进性能。

阅读总结：
SORT的三个局限性：
1、问题一、KF估计的物体速度存在噪声敏感： 使用高帧率视频也可以放大对状态噪声的敏感性，导致KF估计的物体速度存在较大的方差。
2、问题二、KF对目标位置估计存在累积误差：没有新的对象观测（来自检测）与现有轨迹匹配时，对象状态噪声会进一步累积，KF对目标位置估计的误差累积是关于时间的平方阶
3、问题三、以估计为中心不可靠：SORT是以估计为中心，我们认为观测更可靠。
解决方案：
1、针对问题二误差累积：在线平滑策略（OOS）：以观测为中心，缓解K