多目标跟踪任务——评价指标
1. MOTA (Multiple Object Tracking Accuracy)
M O T A = 1 − ∑ t ( F N t + F P t + I D S W t ) ∑ t G T t MOTA = 1- \frac{\sum_t(FN_t + FP_t + IDSW_t)}{\sum_t GT_t} MOTA=1−∑tGTt∑t(FNt+FPt+IDSWt)
MOTA给出了直观的衡量跟踪器在检测物体(TN, FP)和保持轨迹(IDSW)的性能。MOTA的取值小于1.00,可能会为负数。注意通过分子分母的求和可以看出,MOTA是对所有帧的指标求和后取平均,而不是每一帧算一个MOTA然后再取平均。
2. MOTP (Multiple Object Tracking Precision)
M
O
T
P
=
∑
t
,
i
d
t
,
i
∑
t
c
t
MOTP=\frac{\sum_{t,i}d_{t,i}}{\sum_tc_t}
MOTP=∑tct∑t,idt,i
其中,d为检测目标和对应gt之间的距离,c为当前帧的匹配成功数目。d主要用bbox的overlap rate来衡量,所以越大越好,如果使用欧氏距离,则越小越好。MOTP主要体现的是检测性能,而不是跟踪性能。
3. MT (Mostly Tracked)
大部分被跟踪到的,指的是Ground Truth在超过80%的时间内都匹配到轨迹的数目在全部数目的占比。这里只关心是否匹配到了轨迹上,不关心ID是否发生Switch
4. ML (Mostly Lost)
指的是Ground Truth在小于20%的时间内匹配到轨迹的数目在全部数目的占比。这里只关心是否匹配到了轨迹上,不关心ID是否发生Switch
5. IDs (ID Switch)
数据集内同一目标的Ground Truth 分配到的ID发生变化的总次数。
6. FM (Fragmentation)
轨迹有多少次被“打断”,即“tracked -> untracked -> tracked”,注意区分IDs和FM
7. IDF1
I
D
F
1
=
2
I
D
T
P
2
I
D
T
P
+
I
D
F
P
+
I
D
F
N
IDF1 = \frac{2IDTP}{2IDTP + IDFP + IDFN}
IDF1=2IDTP+IDFP+IDFN2IDTP
表示的是在ID保持相同的情况下,跟踪的准确率和召回率的F1值。这里面的TP,FP,FN都是考虑ID的情况下得到的,所以相比于只考虑IDSW的MOTA,IDF1指标更重视跟踪能力。
比如下面这段10帧的gt和两段track(假设对应框bbox都完美对应,这里仅显示ID信息)
truth :1-1-1-1-1-1-1-1-1-1
track1:1-1-2-2-3-3-4-4-5-5
track2:1-1-2-2-1-1-2-2-1-1
这里MOTA均为0.6, IDF1却不同0.2/0.6
不过也不能忽视MOTA的作用,因为IDF1虽然承载了丰富的ID信息,但是无法体现出IDSW的问题,比如下面这个例子:
truth :1-1-1-1-1-1-1-1-1-1
track1:1-1-1-1-1-1-2-2-2-2
track2:1-1-2-2-1-1-2-2-1-1
这里IDF1均为0.6,但是MOTA不同0.9/0.6
参考资料
1.多目标跟踪(MOT)评测标准
2.Multi-Target Multi-Camera Tracking (MTMC Tracking)评价指标 - 罗浩.ZJU的文章 - 知乎
3. 多目标跟踪(MOT)——性能指标
4. MOT Metrics—MOTA vs IDF1?