1.MOT做什么?
Multiple Object Tracking(MOT)又叫Multi-Target Tracking (MTT),它通过分析视频中或者一序列图片的目标来判断它属于哪一个类别,给出它们各自的轨迹,并保持他们的身份。目标可以是人,车,猫狗动物等,其输出是一个由坐标,高度和宽度标识的矩形框,并且每个框带有数字以便区分。
MOT的应用很广泛,例如视频监控,汽车的自动驾驶,动作识别,行为分析等。
既然应用广泛,有这么高的研究价值,我们就不得不关注什么是它的研究难点,对于SOT来说,目标的出现是事先知道的,但对于追踪多个目标来说,却不是,你需要识别进入或者离开场景的目标,就对追踪行人来讲,人的行动每一刻都在变化,场景里的人可能会重叠,交叉。专业点讲就是,目标的遮挡和不同目标的相互作用,有时候相似的目标外观也会影响追踪。
2.需要认识的keywords
ID switch、trajectory、tracket、affinity、association
3.跟踪策略
根据初始化方式可以分为:Detection-Based Tracking (DBT) and Detection-Free Tracking (DFT)
MOT还可以分为:Online(causal) tracking、Offline(batch) tracking
上半部分为online,下半部分为offline。
白话讲就是:
- online使用当前帧及之前帧的信息进行当前帧的跟踪
- offline对每一帧的预测可以使用整个视频的信息
另:有near-online,它可以部分应用未来帧的信息。
4.评价指标
最主要的评价指标为:Multiple Object Tracking Accuracy,即MOTA,原文介绍为:
combines the false positive rate, false negative rate and mismatch rate into a single number, giving a fairly reasonable quantity for the overall tracking performance[2]
MOTA越高,代表一个tracker综合性能越好,它的取值范围为:(-∞,100)。
5.未来的研究方向
对于未来的研究方向,知道的并不多,论文中倒是提到不少,罗列一下:
-
对视频的适配
-
多摄像机下的MOT
-
多目标3D追踪
-
结合场景理解的MOT
-
结合其他计算机视觉任务的MOT
-
应用DeepLearning的MOT
-
研究更多的策略来减少检测错误
-
用DL追踪不同类型的目标,不只只是行人
-
研究当前算法的鲁棒性
-
应用DL指导关联
-
把私有检测和SOT跟踪器结合起来
-
研究边界框regression
-
研究post-tracking过程
参考文献
- Ciaparrone, G. et al. Deep learning in video multi-object tracking: A survey. Neurocomputing 381, 61–88 (2020).[http://arxiv.org/abs/1409.7618]
- Luo, W. et al. Multiple Object Tracking: A Literature Review. 1–18 (2014).[https://arxiv.org/abs/1907.12740]