MOT Challenge 学习笔记

MOT Challenge 学习笔记

以MOT16为例
链接：https://pan.baidu.com/s/19y8dSEM9tOIqPK2vxLfrBQ
提取码：mpvi
MOT16论文：https://arxiv.org/abs/1603.00831

Part1 MOT16的数据及目录结构

MOT中文件：
1.seqinfo.ini
在每个子文件夹中都有这个，主要用于说明这个文件的一些信息，比如名称、帧率、视频帧数、图片的长和宽，图片的后缀名。
2.det.txt——目标检测文件
这个文件中存储了图片的检测框的信息
如：1,1,571.03,402.13,104.56,315.68,0.5028,-1,-1,-1
从左到右依次是
frame:在第几帧图片上检测到
ID:检测框分配的对象id，因为是目标检测文件，所以不分配ID，都为-1
bbox(4位):框左上角坐标位置和长宽
conf:bbox包含对象的置信度，分数越高置信度越高
MOT3D(x,y,z): 是在 MOT3D 中使用到的内容，这里关心的是 MOT2D，所以都设置为-1

3.gt.txt——目标的轨迹跟踪信息文件
大致与det.txt相同，相比而言多了倒数3位；
如：582,10,1066,445,41,124,1,1,0.02381
倒数第3位：是否忽略:0与1 (A value of 0 means that this particularinstance is ignored in the evaluation, while a value of1 is used to mark it as active.)
倒数第2位：classes:目标的类别

倒数第1位：目标运动时被其他目标包含、覆盖、边缘裁剪的情况

MOT16数据集的文档组织格式，所有视频被按帧分为图像，图像统一采用jpeg格式，命名方式为6位数字如：000001.jpg，目标检测和目标轨迹跟踪信息文件为CSV格式（逗号分隔值文件格式），目标检测和目标轨迹跟踪信息文件每行都代表一个目标的相关信息。

Part2 MOT的数据集信息

• MOT16数据集共有14个视频序列，其中7个为带有标注信息的训练集，另外7个为测试集。下图第一行为训练集，第二行为测试集
  

• 从左至右依次是
  数据集名称、视频帧率、视频分辨率(每帧视频尺寸大小)、视频时长、追踪到的轨迹人数、所画Boxes的总数、密度(平均每帧出现人数)、拍摄相机运动状态、拍摄视角、拍摄天气状态。
  

• MOT16数据集中各个视频存在类别及数目
  

• DPM能保证在准确率较高的情况下保持最高的召回率，MOT16选择了DPM作为目标检测的基准来评价数据集的标注情况，下图最右边是DPM算法的检测结果。
  
  下图是用DPM方法检测MOT16数据中目标的统计结果。表格包含每个视频的目标检测总数（检测出的box），平均每帧目标检测数，检测出的bounding box在画面中的最高、最低的位置。
  

Part3 MOT的性能评价指标

MOTA：Multiple Object Tracking Accuracy

FN、FP、IDSW如上图所示
FN(False Negative)——漏检，FP(False Positive)——虚检，IDSW(ID Switch)——轨迹ID发生转变
GT为第t帧中Ground truth物体的数量(就是人工标注的结果)
MOTA给出了一个非常直观的衡量跟踪器在检测物体和保持轨迹时的性能，与物体位置的估计精度无关。

MOTP：Multiple Object Tracking Precision

d为检测目标i和给它分配的ground truth之间在所有帧中的平均度量距离，在这里是使用bonding box的overlap rate(IOU)来进行度量（在这里MOTP是越大越好，但对于使用欧氏距离进行度量的就是MOTP越小越好，这主要取决于度量距离d的定义方式）；而c为在当前帧匹配成功的数目。MOTP主要量化检测器的定位精度，即检测框与给他分配的GT之间的平均度量距离，几乎不包含与跟踪器实际性能相关的信息。

此处的MOTA以及MOTP是计算所有帧的相关指标再进行平均（既加权平均值），而不是计算每帧的rate然后进行rate的平均。

IDF1: ID F1 Score，正确识别的检测与真实数和计算检测的平均数之比

FAF: 每帧的平均误报数

MT：Mostly tracked targets

ML：Mostly lost targets

ID Sw:

Frag: 轨迹被中断的总次数

Hz: 基准测试的处理速度（以每秒帧数为单位，不包括检测的时间）

参考链接：
https://motchallenge.net/
https://arxiv.org/abs/1603.00831
https://cloud.tencent.com/developer/article/1666995
https://blog.csdn.net/sinat_34715587/article/details/90340160
https://blog.csdn.net/jackzhang11/article/details/110456883
https://www.cnblogs.com/yanwei-li/p/8670658.html