【多目标跟踪任务——评价指标】

1. MOTA (Multiple Object Tracking Accuracy)

$MOTA=1-\frac{{\sum }_t(F{N}_t+F{P}_t+IDS{W}_t)}{{\sum }_{t}G{T}_t}$

MOTA给出了直观的衡量跟踪器在检测物体(TN, FP)和保持轨迹(IDSW)的性能。MOTA的取值小于1.00，可能会为负数。注意通过分子分母的求和可以看出，MOTA是对所有帧的指标求和后取平均，而不是每一帧算一个MOTA然后再取平均。

2. MOTP (Multiple Object Tracking Precision)

$MOTP=\frac{{\sum }_{t,i}{d}_{t,i}}{{\sum }_t{c}_t}$
其中，d为检测目标和对应gt之间的距离，c为当前帧的匹配成功数目。d主要用bbox的overlap rate来衡量，所以越大越好，如果使用欧氏距离，则越小越好。MOTP主要体现的是检测性能，而不是跟踪性能。

3. MT (Mostly Tracked)

大部分被跟踪到的，指的是Ground Truth在超过80%的时间内都匹配到轨迹的数目在全部数目的占比。这里只关心是否匹配到了轨迹上，不关心ID是否发生Switch

4. ML (Mostly Lost)

指的是Ground Truth在小于20%的时间内匹配到轨迹的数目在全部数目的占比。这里只关心是否匹配到了轨迹上，不关心ID是否发生Switch

5. IDs (ID Switch)

数据集内同一目标的Ground Truth 分配到的ID发生变化的总次数。

6. FM (Fragmentation)

轨迹有多少次被“打断”，即“tracked -> untracked -> tracked”，注意区分IDs和FM

7. IDF1

$IDF1=\frac{2IDTP}{2IDTP+IDFP+IDFN}$
表示的是在ID保持相同的情况下，跟踪的准确率和召回率的F1值。这里面的TP,FP,FN都是考虑ID的情况下得到的，所以相比于只考虑IDSW的MOTA，IDF1指标更重视跟踪能力。

比如下面这段10帧的gt和两段track（假设对应框bbox都完美对应，这里仅显示ID信息）
truth ：1-1-1-1-1-1-1-1-1-1
track1：1-1-2-2-3-3-4-4-5-5
track2：1-1-2-2-1-1-2-2-1-1
这里MOTA均为0.6， IDF1却不同0.2/0.6

不过也不能忽视MOTA的作用，因为IDF1虽然承载了丰富的ID信息，但是无法体现出IDSW的问题，比如下面这个例子：
truth ：1-1-1-1-1-1-1-1-1-1
track1：1-1-1-1-1-1-2-2-2-2
track2：1-1-2-2-1-1-2-2-1-1
这里IDF1均为0.6，但是MOTA不同0.9/0.6

参考资料

1.多目标跟踪(MOT)评测标准
2.Multi-Target Multi-Camera Tracking （MTMC Tracking）评价指标 - 罗浩.ZJU的文章 - 知乎
3. 多目标跟踪（MOT）——性能指标
4. MOT Metrics—MOTA vs IDF1？