深入理解MOT评价指标

之前一直对其多目标跟踪的评价指标一知半解,今天记录一下其具体的算法细节,不当之处请大家一定要指正!

MOTA ( Multiple Object Tracking Accuracy)

MOTA可以算是MOT中最重要的一个指标,其计算公式都耳熟能详了,如下:
在这里插入图片描述
其中 G T t GT_{t} GTt表示第t帧中Ground truth的个数, F T t FT_{t} FTt表示第t帧中漏检的个数, F P t FP_{t} FPt表示第t帧中虚检的个数, I D S W t IDSW_{t} IDSWt表示第t帧中轨迹的id号发生转变的个数。

下面对这四个指标一一进行分析:

G T t GT_{t} GTt:很简单,对应label中第t帧有几个instance,那么该值就是标注的instance的个数。总数只需要把每一帧的个数求和即可;

F N t FN_{t} FNt:漏检表示假如GT在第t帧本应该有5个instance,但是在你得到的检测结果中只有四个能与之匹配(例如匹配可以等价于IOU>0.5),这个时候就存在一个GT的box漏检,此时FN为1。总数把每一帧的FN求和即可;

F P t FP_{t} FPt:虚检表示检测出来的bbox不在GT里面的情况,例如我某一帧检测到了6个框,但GT只有5个instance,且6个框中只能与GT匹配4个,这种情况下显然有两个框不在GT中,因此FP等于2,相应地FN=1;

I D S W t IDSW_{t} IDSWt:我们通过tracking可以得到若干条轨迹,假设GT中只有一条轨迹,那么这条轨迹可能在不同的时间对应不同的得到的tracking的轨迹。例如前一半时间GT轨迹对应的位置离轨迹1近,此时id号就属于1;而随着时间的推移,轨迹1与GT的位置不断偏离,而轨迹二与GT越来越近,在某个时刻GT就与轨迹2相对应了,此时就发生了id switch。

如果抽象的话可以结合下图来看,就很清晰了:
在这里插入图片描述
以a图为例:1时刻检测的框与GT对应的框太远(IOU过大),导致GT漏检,且检测框虚检;2时刻检测框离GT近了一些,此时检测框和GT box的IOU大于阈值,该检测框为TP;3时刻出现了两个检测框(红&蓝),此时红框为TP,蓝框过远为FP(此时虚检的蓝色框又开启了一条轨迹);4时刻红色检测框离GT很远,但蓝色的很近,因此红色轨迹的检测框为FP,而蓝色的为TP,注意此时该GT轨迹的id从红色切换到了蓝色,即发生了id switch。最后两帧红色轨迹消失(检测框不存在了),蓝色始终为TP。因此整个过程GT=6,FN=1(第1帧),FP=4(蓝色和红色的空心点),idsw=1(第4帧)。

因此MOTA的值越大越好,最大为100(一般采用百分数),最小的话因为FP和ids的关系,可能为负数。

理解了MOTA以后,其他的评价指标就显得更容易了。

MOTP (Multiple Object Tracking Precision)

MOTP的计算公式相对容易,如下所示:
在这里插入图片描述
MOTP衡量的是检测结果的精度,即检测框与给他分配的GT之间的平均度量距离。 c t c_{t} ct表示第t帧成功与GT匹配的检测框数目(匹配过程可能也是用IOU大于某阈值?),而 d t , i d_{t,i} dt,i表示匹配对之间的距离度量(IOU或者欧式距离等度量)。如果度量是IOU的话,那么MOTP越大越好;如果为欧式距离,那么MOTP越小越好。

MT (Mostly Tracked)

对于所有的GT里面的轨迹来说,满足高于80%时间都能成功匹配的轨迹占比。这里不关心中途id是否发生改变,只要能有检测框和他匹配上即可。还是以下图为例:
在这里插入图片描述
图(a)GT轨迹只有一条,该轨迹在6个时间点只有第一个没匹配上,因此83.3%的时间是有匹配的,此时MT为100%;图(b)显然MT为0%;图(c)有两条GT轨迹,上面那条5/6时间有匹配,下面那条只有1/3时间有匹配,此时大于80%的只有一条,MT为50%;图(d)应该也为100%(时间占比5/6?不太确定)。

因此MT越大越好,MT越大就表明GT中被成功匹配时间占比很长的轨迹越多,跟踪效果越好。

ML (Mostly Lost)

对于所有的GT里面的轨迹来说,满足小于20%时间都能成功匹配的轨迹占比。这个指标与MT相反,因此越小表明跟踪效果越好。

ID Switch

MOTA指标中详细讲过,即一个GT轨迹在不同的时间段,可能会和你预测出来的不同的轨迹匹配,每一次匹配轨迹的改变就是一次id switch。id switch越大表明预测出来的轨迹与GT的偏离就越多(偏离多了才会被其他轨迹接管,出现id switch)。因此该指标越小越好。

  • 14
    点赞
  • 69
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值