多目标跟踪简述

目标跟踪分为单目标和多目标跟踪。本篇主要分析多目标跟踪（MOT），它是将视频中每一帧的物体都赋予一个id，并且得到每个id的行为轨迹。

• 应用场景

多目标跟踪是一种通用的算法，几乎应用在视觉领域的各个方面，例如安防领域、自动驾驶领域等领域。

• 工作流程

MOT算法的一般工作流程：

①检测 ②特征提取、运动预测 ③相似度计算 ④数据关联

(1)检测 ：给定视频的原始帧，运行对象检测器以获得对象的边界框；

(2)特征提取、运动预测：对于每个检测到的物体，计算出不同的特征，通常是视觉和运动特征；

(3)相似度计算：相似度计算步骤计算两个对象属于同一目标的概率；

(4)数据关联：关联步骤为每个对象分配数字ID。

MOT算法的一般工作流程

• 相关工作

多相机多目标追踪(MTMCT)比MOT更适应室内多相机场景的应用。

• 性能指标

现在用的最多的就是MOTA。但是这个指标FN、FP的权重占比很大，更多衡量的是检测的质量，而不是跟踪的效果。

ID scores是16年提出的。因为都是基于匹配的指标，所以能更好的衡量数据关联的好坏。

ID scores

• 难点

多目标跟踪的难点在于ID switch，如下图。

开源框架

• 飞桨Tracking

基于飞桨核心框架开发，涵盖四个业界领先的VOT算法：SiamFC、SiamRPN、SiamMask和ATOM。

https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/tracking

• mmtracking

是商汤OpenMMLab工程的一部分，是视频感知框架，基于PyTorch。支持Single Object Tracking (SOT), Multiple Object Tracking (MOT), Video Object Detection (VID) 。

https://github.com/open-mmlab/mmtracking

引用：https://blog.51cto.com/u_15127623/4243458

https://blog.51cto.com/u_15298598/3115922

https://blog.csdn.net/lanmengyiyu/article/details/108846295

https://blog.51cto.com/u_15214399/2950260