多目标追踪笔记六：Global Data Association for Multi-Object Tracking Using Network Flows

一、摘要：

提出来一种基于网络流的多目标跟踪所需数据关联优化方法。将数据关联问题被映射到具有不重叠约束的成本流网络中。利用网络中的最小成本流算法, 找到了最优的数据关联。该网络被扩展为包括一个显式遮挡模型（EOM），用此来跟踪被长期遮挡的对象。（即为基于图论进行数据关联并求解问题）

二、数据关联存在的问题：（针对tracking by detection）

1. 不是每帧都能将所有目标全部检测出来，有时候还会出现目标相互遮挡的问题。
2. 如果使用较多的全局信息来进行关联这种方案，那这些方案所造成的消耗会随着帧数增加而急剧增加。（作者提出一种有效的全局关联方法，比起之前的方法能更适用于更长的序列窗口）

三、作者提出的方法：

1. 将数据关联定义为map（图）估计问题，将一组对象检测结果作为输入观测结果，将没有重叠的轨迹建模为“成本流”网络中不相交的流动路径。将观测似然和过渡概率建模成为流动成本。利用最小成本流算法建立全局最优轨迹关联
2. 为了解决长期遮挡问题，向网络加入遮挡节点和相关约束，来构建显式遮挡模型（EOM）。这相当于利用基于原始最小成本流算法的迭代方法解决了基于 eom 的网络中最小成本流问题。

作者在论文中提出逐帧检测关联会遇到问题，为了解决这些问题，各个作者提出了很多解决方案，但无论是从整个序列中去关联数据还是同时优化多条轨迹都会有很多问题。基于上面作者提出的方案，应该能够很好的应对一些问题。

 

从下图可以看出，该网络能够将前后帧的人物进行关联，并且能够推论的得到目标的遮挡情况和目标丢失情况。

 

四、具体细节：

和之前说的一样，他们把数据关联问题转化为图论，将该问题映射到成本流网络里，使用最小成本流解决。这个映射基于：图像中查找不重叠的对象轨迹和查找对象边缘不相交路径之间存在类比。

 

在没有重叠约束下的map

从上面这张成本流网络公式可以看出：从SàT每个流路径都可以看成一个物体轨迹，轨迹中还包含流量的总成本G。

 

通过最小成本流查找 map 轨迹。

算法1为数据关联提供了一个通用框架。该方法能够有效地找到全局最优。之后的改进将为了解决跟踪过程中长期闭塞的问题。

 

显式遮挡模型 (EOM)

之前提到的方法能够跟踪短期误检, 包括由闭塞引起的检测。 但是, 如果只是将长期阻塞视为缺失的数据, 则无法在不影响性能的情况下进行处理。如果允许观测与它们之间的巨大时间间隔关联, 则创建错误关联的可能性也会增加。为了有效地解决跟踪长期遮挡, 我们建议通过构造显式遮挡模型 (eom) 来明确说明哪些对象可能会遮挡哪些对象。eom 生成一组遮挡假设, 并通过一组遮挡约束将它们与输入观测结果结合起来。（只处理跟踪目标之间的遮挡问题）

其中：实体矩形是输入观测;虚线矩形是一个遮挡对象假设。

 

当解决方案中使用遮挡对象假设时, 可以从(见下)算法2的输出中推断遮挡事件, 而当关联中存在时间不连续性时, 则可以推断漏诊检测。在此基础上, 我们可以推断遮挡和误检测的事件,与之前研究方法不同的是，作者的方法通过轨迹的拆分和合并来模拟遮挡, 即显式地生成遮挡假设, 以恢复因遮挡而缺失的观测结果, 从而给出了更多统一的方法, 因为恢复的观测结果与输入观测结果的处理方式相同。

简单来说，就是算法2将常规检测到的输入和EOM生成的遮挡假设头通过迭代结合在一块，成为一个完整的集合，再通过图论进行数据关联（将缺失的数据在最开始补上，防止因遮挡导致的数据缺失）。

五、结论：

作者提出了一个新的数据关联框架, 用于多个对象跟踪, 该框架利用整个序列中的所有观测结果在全局范围内优化关联。 错误的警报, 轨道的初始化和终止, 并对该方法中的遮挡推理进行了内在的建模。提出了一种基于最小网络流算法的最优解。虽然算法的复杂性是多项式的, 但实际上我们发现它们是高效的。实验结果表明, 全局数据关联有助于减少轨迹碎片, 提高轨迹一致性, 同时保持效率。该框架是通用的, 可以很容易地适应跟踪任何类别的对象, 为其提供合理的检测器。