多目标追踪笔记八：Stable Multi-Target Tracking in Real-Time Surveillance Video

这是一篇比较老的论文了（2011），看的时候还是对里面具体的方法不太理解，希望一起讨论。如果有疑问，希望查看原论文。

1.介绍：
2011年左右的时候，行人跟踪很多集中在维持目标的身份上，而在监控识别上需要行人周围存在稳定的边界框。所以作者提出来多目标跟踪系统。此系统提供了较为稳定和准确的头部估计。通过在每帧上实现滑动窗口来执行数据关联。

这篇论文将异步Hog检测与同步的Klt跟踪相结合，并使用Markov-Chain Monte-Carlo （mcmcda）进行数据关联。用来提供高清视频行人实时跟踪。作者还使用了基于最小描述长度 (mdl) 目标的更有效的方法来实现数据关联。

按照论文所给出的实际效果，在一般行人跟踪中，以头部而不是整体为参照点能够更可靠。因为头部很少被头顶摄像头遮挡，且也不会被衣物遮挡。实际能够保证25FPS的速度。

differ from prior work
1.该论文提出一个追踪模型，能够准确的表示检测和跟踪的误差与失效模式。这使得帧到帧的运动可以用像素级精度进行估计, 还可以为短暂的遮挡提供固有的鲁棒性。这样得出的位置估计对于生成稳定的行人图像序列是很好的。

2.而关于false positive detections的问题；之前的方法是false positive detections是因为个别不相关的检测，但实际上基于外观的检测器会在相同的地点产生重复的false positive detections。所以作者将单独创建一个false positive detections模型，应用slam解决这个问题。

3.同时该论文还提出开发了一个高效的异步多线程体系结构。

4.实时性一直是目前大多数track by detection算法的一个缺点，检测阶段是一个瓶颈，大多数检测算法不能全帧率运行。相比于已有的流行检测算法，使用异步多线程体系结构则能够较好的解决这个问题：

具体做法为：
通过让一个线程产生异步检测来解决这一问题, 而另一个线程执行基于本地功能的跟踪 (klt), 第三个执行数据关联, 第四个执行生成和优化输出。

5.论文的一个关键是在时间滑动窗口中使用 mcmc 数据关联，系统可以在任何时候及时报告其目前对所有目标轨迹的最佳估计, 但这些估计可能会随着更多的视频证据或进一步的迭代而改变。同时这也能够短时间应对完全遮挡。

2.相关工作
最近的多目标重点是基于外观方法（分为两种）：
（1）只使用当前和过去的观测来估计当前状态的前向传播系统。
（2）基于数据关联的方法，这还将使用将来的信息来估计当前状态来解决歧义问题，但会增加延迟。

本论文的实现是基于mcmcda数据关联算法。
其中之前有人提出使用mcmcda数据关联算法（2）来实现一般多目标跟踪方法（一个或固定目标的跟踪），将绝对观测序列关联到未知数量的轨道中。
后面有人基于此数据关联算法，通过关联背景减法产生的对象检测和增强的Haar分类器级联。

最近有的方法是采用对象检测和运动估计进行跟踪。即在每次检测后的短时间内应用标准跟踪算法。作者也使用了检测和运动估计的结合, 

3.方法

method：Sliding Window Tracking

为了让跟踪算法对错误检测具有鲁棒性，数据关联和位置估计是通过考虑滑动窗口中表示最近接收到的6秒视频的所有数据来执行的。作者使用HOG检测算法来进行目标检测。特别的，该论文单独使用了头部图像（不是全身图像）训练了一个检测器。

同时因为不能频繁的接收到检测结果，所以需要采取运动估计，以保证能够正确的达到数据关联。作者使用KLT跟踪的拐角特征进行运动估计。针对Klt跟踪失败情况，可以适当延长检测间隔时间（论文中为4s）来增强追踪的效果。同时Klt追踪相比于mean shift 追踪算法更精确，能够准确估计检测之间头部位置。

method：Data Association

数据关联阶段的目的是选择一个假设 hi, 它将检测 d 集划分为不相交子集合 t1、t2。tj, 其中每个子集 tj 包含与一个人相对应的所有检测 (见图 2)。由于并非每个检测结果都是真正的正确的检测, 因此对于每个 tj, 我们还尝试推断相应轨道的类型Cj。我们使用 Cj = Cped表示 tj 是一个真正的行人或 如果我们相信 tj 是一个误报的轨道, 则被标注为Cj = Cfp 的属性, 这将被缩写为只是 cj 和 cfp。对于更一般的情况, 可以扩展此变量以表示许多不同的移动对象类型, 如汽车、自行车和树木, 每个类型都有一个单独的运动模型, 以方便分类。

即使是对一组小的检测, 也要对假设的空间进行详尽的评估, 因此我们使用 mcmc 采样通过生成采样假设的序列 h0、h1、h2. 来有效地探索数据关联的空间。这些抽样的假设将根据我们的似然函数所定义的相对概率进行分配。mcmc 的随机性有助于防止搜索被停留在可能性函数的局部最大值上。

具体的公式这块建议看原论文。

颜色显示滑动窗口中的所有头部检测 (小矩形) 和相应的 klt 运动估计 (细线) 的视图。颜色代表了观测结果被分配到的轨道。 上图显示投射到当前帧上的观测结果, 中间图显示已进行的数据关联假设, 底部图像显示没有数据关联的结果

检测尺度：因为人经常改变方向, 当在人群。完整的 klt 运动估计通常提供更准确的预测, 因此对于每个 klt 运动估计 y, 我们使用与卡尔曼滤波器的更新步骤等效的计算计算位置的后分布

运动幅度：是为了最终帮助区分正确的检测和错误的检测。每个检测在轨道中的概率是通过只考虑紧随其前和后的检测。进行这种近似是为了确保 mcmc 数据关联能够有效地执行, 每个建议只需要最小的计算。

method：Sampling（取样）：
存在三种类型的移动；前两种移动会影响数据关联的状态, 第三种移动有可能更改轨道的类型。

（1）第一种类型的移动涉及随机选择一个检测和一个轨道, 并建议将所选择的检测移动到所选的轨道,如果轨道已包含来自同一帧的检测（同一帧的检测重复出现在该轨道上）, 则在建议中交换这两个检测。

（2）在第二种类型的移动中, 我们选择两个轨道和滑动窗口中的随机时间, 并建议在两个轨道中的时间之后发生的所有检测都与另一个轨道中的轨道交换。

论文里的有些方法关于数据关联和采样有点不理解，建议看原论文。

4.结论

该论文描述并演示了一个可扩展的实时系统, 用于在高清监控视频中从行人那里获得稳定的头部图像。mcmcda 的使用使系统对遮挡具有鲁棒性, 并允许识别和删除背景中的错误检测。 该系统在活动识别和远程生物识别分析方面有许多潜在的应用, 也可用于为人类观察者提供近距离头部图像。 实验表明, 我们的高效方法提供了与同类系统相当的一般跟踪性能, 同时在速度和跟踪器稳定性方面都是有利的。