MOT笔记（一）

1.MOT做什么？

Multiple Object Tracking（MOT）又叫Multi-Target Tracking (MTT)，它通过分析视频中或者一序列图片的目标来判断它属于哪一个类别，给出它们各自的轨迹，并保持他们的身份。目标可以是人，车，猫狗动物等，其输出是一个由坐标，高度和宽度标识的矩形框，并且每个框带有数字以便区分。

MOT的应用很广泛，例如视频监控，汽车的自动驾驶，动作识别，行为分析等。

既然应用广泛，有这么高的研究价值，我们就不得不关注什么是它的研究难点，对于SOT来说，目标的出现是事先知道的，但对于追踪多个目标来说，却不是，你需要识别进入或者离开场景的目标，就对追踪行人来讲，人的行动每一刻都在变化，场景里的人可能会重叠，交叉。专业点讲就是，目标的遮挡和不同目标的相互作用，有时候相似的目标外观也会影响追踪。

2.需要认识的keywords

ID switch、trajectory、tracket、affinity、association

3.跟踪策略

根据初始化方式可以分为：Detection-Based Tracking (DBT) and Detection-Free Tracking (DFT)

MOT还可以分为：Online（causal） tracking、Offline（batch） tracking

上半部分为online，下半部分为offline。
白话讲就是：

• online使用当前帧及之前帧的信息进行当前帧的跟踪
• offline对每一帧的预测可以使用整个视频的信息

另：有near-online，它可以部分应用未来帧的信息。

4.评价指标

最主要的评价指标为：Multiple Object Tracking Accuracy，即MOTA，原文介绍为：

combines the false positive rate, false negative rate and mismatch rate into a single number, giving a fairly reasonable quantity for the overall tracking performance[2]

MOTA越高，代表一个tracker综合性能越好，它的取值范围为：（-∞,100）。

5.未来的研究方向

对于未来的研究方向，知道的并不多，论文中倒是提到不少，罗列一下：

• 对视频的适配

• 多摄像机下的MOT

• 多目标3D追踪

• 结合场景理解的MOT

• 结合其他计算机视觉任务的MOT

• 应用DeepLearning的MOT

• 研究更多的策略来减少检测错误

• 用DL追踪不同类型的目标，不只只是行人

• 研究当前算法的鲁棒性

• 应用DL指导关联

• 把私有检测和SOT跟踪器结合起来

• 研究边界框regression

• 研究post-tracking过程

参考文献

1. Ciaparrone, G. et al. Deep learning in video multi-object tracking: A survey. Neurocomputing 381, 61–88 (2020).[http://arxiv.org/abs/1409.7618]
2. Luo, W. et al. Multiple Object Tracking: A Literature Review. 1–18 (2014).[https://arxiv.org/abs/1907.12740]