基于MOT的benchmark记录相关的评价指标以及其计算方式和意义
MOTA ( Multiple Object Tracking Accuracy)
MOTA计算所有帧的匹配情况,t为帧数,FN为False Negative,FP为False Positive,IDSW为ID Switch,GT为Ground Truth 物体的数量,计算所有帧的漏检数和误检数以及ID发生变化的情况。
上述公式可以拆解成三块
∑
t
F
N
t
∑
t
G
T
t
\frac{\sum_t{FN_t}}{\sum_t{GT_t}}
∑tGTt∑tFNt,
∑
t
F
P
t
∑
t
G
T
t
\frac{\sum_t{FP_t}}{\sum_t{GT_t}}
∑tGTt∑tFPt,
∑
t
I
D
S
W
t
∑
t
G
T
t
\frac{\sum_t{IDSW_t}}{\sum_t{GT_t}}
∑tGTt∑tIDSWt
其中FN和FP主要是观测检测器性能,
而IDSW是同时观测检测器和跟踪器的性能,
MOTP (Multiple Object Tracking Precision)
其中d为distance,指在第t帧检测到的目标i与对应的gt之间坐标框的差异,一般采用iou或者欧式距离。
ct为在第t帧匹配到的目标数。
IDF1(Identification F-Score)
在跟踪中,IDTP和IDFP以及IDFN的计算规则如下
图中再每次id变化的第一帧都为FP,若没有检测到则为FN,若前后帧ID一样则为TP。
MT (Mostly Tracked)
满足Ground Truth至少在80%的时间内都匹配成功的track,在所有追踪目标中所占的比例。这里的匹配成功不考虑ID是否发生变化,主要衡量的是检测器的性能
ML(Mostly Lost)
满足Ground Truth仅在小于20%的时间内匹配成功的tracks,在所有追踪目标中所占的比例。
Rcll (Recall)
衡量检测器性能,检测器中检测出的正确目标除以总数。
R
c
l
l
=
∑
t
T
P
t
∑
t
G
T
t
Rcll=\frac{\sum_tTP_t}{\sum_tGT_t}
Rcll=∑tGTt∑tTPt
HOTA(Higher Order Tracking Accuracy)
结合图片梳理下TPA(True Positive Associations),FPA(False Positive Associations),FNA(False Negative Associations)
根据上述我们可以看出来HOTA是对序列的粘合程度进行量化的。
TPA_c:在图中对于c而言就是预测C时的ID所有轨迹中和C实际轨迹匹配的那些目标
FPA_c: 在图中预测c时的id的所有轨迹中与c的实际轨迹没有匹配的目标
FNA_c: 在图中c的真实轨迹和预测轨迹没有匹配的目标