目标跟踪
Multi-object tracking (MOT)
MOT问题可以看作是数据关联问题,其目的是将视频序列中跨帧的检测关联起来
流程
- 获取原始视频帧,利用目标检测器(detecter)对视频帧中的目标进行检测
- 将检测到的目标的框中的特征提取出来,该特征包括表观特征(方便特征对比避免ID switch)和运动特征(方便卡尔曼滤波对其进行预测)
- 计算前后两帧目标之前的匹配程度(利用匈牙利算法和级联匹配),为每个跟踪到的目标分配ID。
面临的挑战
目标间的遮挡(Inter-Object Occlusion)和障碍物的遮挡(Obstacle Occlusion)导致ID Switch。
评估指标
- 多目标跟踪精度(Multiple Object Tracking Accuracy, MOTA)指标将假阳性率、假阴性率和错配率综合到一个数字中。
- 精度。多目标跟踪精度(MOTP)、跟踪距离误差(TDE)和OSPA。它们描述了通过边界框重叠和/或距离来精确跟踪物体的程度。
- 完整性。完整性度量表明真实轨迹被跟踪的完整程度。包括大部分跟踪(MT)、部分跟踪(PT)、大部分丢失(ML)和碎片(FM)。
- 鲁棒性。为了评估MOT算法从遮挡中恢复的能力,引入了短期遮挡恢复(RS)和长期遮挡恢复(RL)指标。