IEEE 2016 Online Multiple Object Tracking with the Hierarchically Adopted GM-PHD Filter... 阅读笔记

预备知识

GM-PHD

摘要

为了解决基于tracking by detection框架的算法容易被错检、漏检影响的问题，本文提出了一个基于tracking by detection框架的在线多目标跟踪算法。对于错检而言，本文使用了混合高斯概率假设密度（GM-PHD）滤波器，它对存在噪声干扰(noisy and random data processing)的目标观测有一定的鲁棒性。对于漏检而言，本文设计了一个分层跟踪框架，可以将分段、ID交换了的轨迹连接起来。

GM-PHD跟踪器

• 步骤0：初始化。初始目标观测集由规定的第一帧内所有目标观测得到，每个观测含有x坐标，y坐标，w目标宽度，h目标高度的信息。通过计算，可以得到初始高斯变量参数，包括权重w，平均向量m，协方差矩阵p。其中平均向量包括x坐标，y坐标，x方向速率，y方向速率，跟踪框宽度，跟踪框高度信息。最后，An unique identifier is assigned to each Gaussian to form the set T, where ti denotes the tag of ith Gaussion component.（这里不太理解identifier、tag的作用，因为后文也没有提及，可能与GM-PHD相关知识有关）
• 步骤1：预测。根据k-1时刻的x，y方向速率，通过卡尔曼滤波器预测k时刻平均向量m。
• 步骤2：更新。在数据关联之后，每个高斯由对应的观测更新，它们的权重，平均向量和协方差矩阵都会得到继承。
• 步骤3：剪枝。将更新后高斯权重低于阈值Tth的去除，将剩下来的高斯重新归一化。
• 步骤4：目标状态估计。将k时刻的目标与已存轨迹相连直到time k-1 having the same labels.（我理解的按照原文的意思，这里是要将对齐k时刻和k-1时刻的label，但k时刻可能会剪枝，也可能会添加新轨迹，与我理解的原文意思不符。存在疑问。）

数据关联

• 对于每个高斯分量，在当前观测集中找到使高斯分量具有最大权重的目标观测，并进行连接。

分层结构

• low-level：将k时刻的目标检测与k-1时刻跟踪的目标连接起来。如Fig.1。
• mid-level：将k时刻的alive和dead轨迹连接起来。如Fig.2。
• 当没有漏检时，不会出现IDS现象，只使用low-level连接就可以；当有漏检时，可能会造成IDS，这时需要使用mid-level。为了解决这种帧与帧之间数据关联出错问题，本文设计出mid-level，分为两步。第一步，将轨迹存活时间小于阈值Lth的筛除。因为短轨迹往往源自于错误的检测，而且Lth要尽量小，保证实时性；第二步，将轨迹分为alive和dead，然后将alive分配给观测，将dead分配给状态。alive指经过low-level阶段成功连接到检测的轨迹，dead指没有连接的轨迹。对于dead轨迹的状态向量，其结构包括这个轨迹过去所有目标的颜色分布直方图平均值以及最后一个目标的位置、速率、大小。对于alive轨迹的观测向量，其结构与dead的相同，只是用的都是第一个目标的信息。
• Also, the loss tracklet generated by miss detection are approximated by linear interpolation with the last position of the ID 1 dead tracklet and the first position of the alive ID 3 tracklet.（个人没怎么看懂这一步，既然已经根据state得到了dead应该连接的observation，那么直接使用这个观测的位置作为dead新位置就好了吧？）

实验结果与分析

• 通过实验结果可知算法各部分对性能的影响：
• Stage1到Stage2的过程，MOTA↑，FP↓，效果大大提升。
• Stage2到Stage3(a)（没有使用分层结构中最后线性插值预测的操作）的过程，IDS↓，效果有所提升。
• Stage3(a)到Stage3(b)（使用了分层结构中最后线性插值预测的操作），MOTA↓，FM↑，效果下降。
• 总体来说，Stage3(a)效果最好，而Stage3(b)之所以反而效果变差，原文指出可能是因为使用了传统的外观模型（颜色分布直方图），并提出如果使用其他外观特征代替应该效果更好。另外，随着阶段的推移，算法速度逐级下降，但仍然能有超过30fps的速度，基本符合实时性的要求。