MOTA
MOTA(Multiple Object Tracking Accuracy):指标体现多目标跟踪的准确度
MOTA指标是衡量多目标跟踪算法精确性方面最重要的指标,以1为最佳情况,数值越高代表跟踪精确度越好
fragmentation是在第t帧当中发生的ID分配错误(ID switch)。也就是说,如果在ground truth第j个轨迹的第t帧之前,跟踪器(tracker)把该轨迹的ID都预测正确了,但是第t+1帧预测错误了,那么ID switch的个数+1,值得注意的是,即使第t+1帧之后跟踪器仍然把该轨迹的ID预测错误了,但是错误的ID为同一个,那么ID switch个数不会增加。举个直观一点的例子,假设周杰伦在第1帧的时候走入镜头,在第100帧的时候走出镜头,跟踪器的boungding box一直能够跟上,但是在第50帧的时候把周杰伦识别成了彭于晏,那么这100帧内ID switch的个数为1。假设第t帧中ID switch的个数为Φt,那么所有帧的个数为Φ = ∑t Φ t。
FP false positive 指的是在第t帧中,跟踪器检测到了的bounding box但是在ground truth中却不存在bounding box的个数。
FN false negative 指的是在第t帧中,跟踪器漏检了的bounding box但是在ground truth中存在bounding box的个数。
TP true positive 指的是在第t帧中,跟踪器和ground truth同时都有的bounding box。
大写的TP , FP , FN 就是true positive, false positive, false negative在所有帧中的总和(注意,只考虑bounding box,没有考虑bounding box的ID,也就是说,只要框住了就算TP,ID错了也算TP)。
T指的是ground truth中bounding box的数量。可以看出,MOTA其实是对FN、FP、Φ进行了惩罚,然后又利用T进行正则。
IDF1
IDF1指标代表被检测和跟踪的目标中获取正确的ID的检测目标的比例,综合考虑ID准确率和ID召回率,代表两者的调和均值。
IDP其实就是ID+Precision,这里的IDP其实就是把每个ID当作单独的一类去计算Precision,同理,IDR则对应ID+Recall,IDF1则对应ID+F1 score,IDF1本质上没有什么实际物理含义,只是对IDP和IDR的一个调和平均。
IDSW
IDSW:在目标检测中,一个物体发生遮挡再重新出现在视野中,若网络重新赋给了一个序号,则定义为发生一次IDsw。
AMOTA
多目标跟踪平均准确度。选取不同的阈值,得到不同阈值下的recall和MOTA,以recall为横坐标、MOTA为纵坐标,绘制出MOTA-recall曲线,使用插入法求取MOTA的均值,即AMOTA。
MT
:Mostly Tracked,对于所有的GT里面的轨迹来说,满足高于80%时间都能成功匹配的轨迹占比。这里不关心中途id是否发生改变,只要能有检测框和他匹配上即可。
MT越大就表明GT中被成功匹配时间占比很长的轨迹越多,跟踪效果越好
ML
Mostly Lost,大多数目标被跟丢的轨迹数量。目标被成功跟踪到的轨迹长度与轨迹总长度的比值小于等于20%的轨迹数量
MOTP
Multiple Object Tracking Precision,多目标跟踪精度。表示得到的检测框和真实标注框之间的重合程度。
HOTA
一种新的MOT评估指标HOTA(高阶跟踪精度),它明确地将执行精确检测、关联和定位的效果平衡到一个统一的用于比较跟踪器的度量中。HOTA分解为一系列子度量,这些子度量能够分别评估五种基本错误类型中的每一种,从而能够清楚地分析跟踪性能。此外HOTA评分与人类对跟踪性能的视觉评价更为一致.
AssA
Association Accuracy Score
A©:测量预测轨迹和groundtruth轨迹的相似程度。
DetA
Detection Accuracy
多目标追踪综述:
https://zhuanlan.zhihu.com/p/572298574