论文《On the detection-to-track association for online multi-object tracking》

原文+标注：https://download.csdn.net/download/weixin_34961608/85423097

---

  对tracking-by-dection类MOT任务，提出一种detection-to-track关联算法hybrid track association(HTA)。采用历史帧的tracks外观距离+增量高斯混合模型IGMM关联detections和tracks。其中IGMM 派生的统计信息用作基于外观距离的关联成本计算的辅助信息。从而实现更准确和更稳健的检测到跟踪关联，HTM对跟踪速度影响也较小。

一、HTA

1.增量高斯混合模型

  高斯混合模型广泛用于背景建模，考虑在线关联的时间序列性质和跟踪系统的实时性要求，提出基于**快速增量高斯混合模型（IGMM）**的算法。

2. 新数据点三种处理方式

• 创建新分量
    如果没有分量或者不满足更新条件，则创建新的分量，并初始化。
  
• 更新现有分量
    更新条件：新数据点数据点d_n与任意分量k之间的平方马氏距离<卡方分布的1-τ百分位数.
  
• 移除假（spurious）分量
    当分量k的v>v_min和N<N_min，即如果分量k创建时至少有v_min个数据点被记录,但仍无法观察到其累积后验概率有足够明显变化（即仍N<N_min），则分量k被认为是虚假的，将其删除。

3.轨迹关联

  因遮挡或误检，不可避免地将一些异常值引入到track。因此需要判断track中哪些分量最有可能由GT检测项生成。配对的detection和track往往具有较小的外观距离。选取前M个分量，计算IGMM模型：

  像许多统计模型一样，IGMM 模型只有在观察到足够的数据时才会在统计上可靠。基于此，作者设置一个最小轨迹长度$\mathcal{L}$ =15 确保仅对长度不小于$\mathcal{L}$的tracks估计IGMM。长度小于$\mathcal{L}$的tracks仅使用外观距离作为关联cost，否则，使用如下混合关联cost，即HTA:

二、四种关联方法

1. 级联匹配策略（CMS）

  CMS首先将detections与最近更新的tracks匹​​配，然后是上上次更新的tracks，依此类推。直到检查完所有tracks或detections。其关联cost为detection与track中存储的最近detection之间的外观距离。

2. KNN($k$ Nearest Neighbors)

  一次性将detections与现有所有的tracks相关联，而不为任何track赋予优先级。对于每个detection关联成本为detection与每个轨迹中前$k$个最近detections之间的平均外观距离。如果轨迹的长度小于$k$，则考虑所有detections。设置$k$=5平衡对异常值的鲁棒性和关联的准确性。

3. EMA(Exponential Moving Average)

  EMA基于detections的外观特征与每个轨迹的“平滑”特征之间的距离执行关联。平滑特征是同一轨迹中时间相邻外观特征的指数移动平均值。
  与CMS、kNN不同，EMA策略考虑了时间信息，因此预计更准确。

4. HTA(Hybrid Track Association)

  HTA与EMA的不同之处在于，它不仅考虑当前帧处的特征距离，还考虑轨迹记录的历史外观距离提供的统计信息。

三、实验对比

  作者通过对比$\mathcal{L}$和$\lambda$对IDF1指标的跟踪性能，设置HTA实验参数$\mathcal{L}$=15、$\lambda$=0.9.

基于表1可以获得一些关于轨迹关联的见解：
1）CMS在改善MOTA方面不如预期有效，并且往往会对IDF1产生负面影响。
2）HTA和EMA以及CMS和kNN之间的性能差距意味着时间信息对轨迹的正确关联很重要。
3）整合轨迹的历史信息有利于提高目标识别的性能。
4）跟踪速度：HTA和kNN比CMS和EMA略慢，慢约1∼3 FPS。因为估计IGMM或搜索轨迹的前$k$个最近外观特征需要额外的计算。

HTA可能会导致更频繁的ID切换。

  比HTA更快的两种算法JDE-1088 [11]和FairMOT [24]都使用一个联合框架共享一个特征图，该特征图用于对象检测和外观特征学习任务，从而提高了跟踪速度。它们主要区别在于骨干网络和检测机制（即基于锚点或无锚点）。
  值得注意的是，JDE-1088和FairMOT都由MOT基准测试的训练集训练。虽然这有利于提高MOT基准测试集的性能，但它可能导致过度拟合MOT基准的检测和目标识别。如，FairMOT在与MOT基准测试中的序列完全不同的视频（如从YouTube下载的视频）上进行评估时，FairMOT存在很大的性能差距（漏检和ID切换）。这是一个不容忽视的问题，训练自行收集的数据集可能不太适合其他许多实际应用场景。这就是为什么我们在与MOT基准数据集不重叠的数据集上训练我们的行人检测器和外观模型的原因，从而使跟踪器能够以即插即用的方式为看不见的数据集提供相对一致的性能。

四、总结

1. 基准数据集训练，自己数据集微调
2. HTA策略结合实时检测结果，相比其他在线trackers可以很好平衡速度和性能

以上如理解有误，请指正。

每次记录一点