国际MOT研究及智能视频监控应用中的目标跟踪梳理

多目标跟踪的问题提出：有一段视频，视频是由 N 个 连续帧构成的。从第一帧到最后一帧，里面有多个目标，不断地有出有进，不断地运动。我们的目的是对每个目标，能跟其他目标区分开，能跟踪它在不同帧中的轨迹。最经典的应用就是路口监控行人。

关键点：
1 Input: detection responses。现在拿来一段视频，我们先用 state-of-artdetectors 把各帧中的人检测出来，包括位置、大小。当然，这个检测是有 noise 的，否则也就没必要用各种 MOT 方法来处理了。每个 detection 产生的结果就是 response，它还有一个可信度，比如80%可信，20%可信。
2 Output: Tracklets. 就是最终得到每个 target 的轨迹。
Challenges: Occlusions,similar appearance,complex motion,false alarms.这些问题基本上是每篇论文都在努力解决的。
3 Occlusions：有三种，被场景中的物体遮挡，被其他 target 遮挡，被自己遮挡（如变形，无法检测到），遮挡之后，本来应该检测到的 target 就检测不到了。解决的方法如根据 temporal 信息，估计出某一帧的某个位置有 target 被遮挡了。
4 Appearance：一是怎么把 target 与背景分开；二是怎么把不同的 target 分开。一般需要设计一个很好的外观模型，比如用 HOG、color histogram 等等。
5 Motion: 最简单的情况是匀速直线运动，这样我们很好预测下一帧中这个 target 在哪，但实际情况往往并不如此。比如可能来了个急转弯，可能突然转身往回走。解决之道，一般要设计更灵活、更复杂的运动模型。

6 False Alarms: detector 给出了 response，但实际上那个地方并没有 target，误检。这就要根据可信度，以及多种 refinement 方法来甄别了。

一、运动目标检测：

1.      光流法

2.      帧差法

3.      背景差法（对变化速度较快的背景效果一般）

1）基于卡尔曼滤波器的自适应背景模型

2）自适应的混合高斯背景模型

3）颜色信息和梯度信息相结合模型

4）其它改进型方法（基于亮度纹理不变性方法，基于时空域变换的线检测方法，特征背景法，多维向量空间法等）

4.      人工神经网络

该方法首先将图像分为若干个图像子块，把这些子块投影到一个线性滤波器组，获得不同的图像模式；在得到这些图像模式后再将它们根据计算得到的聚类原形进行分类；之后使用人工神经网络分类器来判断每个图像模式是否存在运动目标。该方法可以有效的检测出运动目标，且对尺度变化和旋转变化的目标有一定的适应性。

5.      基于主动轮廓模型的方法（SNAKE模型）

使用边缘轮廓来表示运动目标，并且随着时间的变化进行动态更新。模型适合检测并跟踪可变形的目标。

6.      基于小波变换的方法

利于弱小目标的运动检测

7.      基于Vibe的方法

主要思想：Olivier等人在2011年提出的一种前景提取算法。算法以一定的概率采集每个像素点的背景样本集合，采集范围包含该像素点的像素值以及它的邻居像素值，最终建立一个由像素样本集合组成背景模型。判定下一帧的像素是否为背景像素时，需要计算该像素与对应位置的背景集合中元素的摘圆距离：满足背景置信条件的认为是背景像素，否则被认定为前景像素。算法的优点：计算速度快且对对光照不敏感，在固定摄像头下效果好。

 

二、运动目标跟踪：

一．Segmentation andTracking.框架

1.      基于预测的跟踪方法（贝叶斯框架）

基于概率推导的目标跟踪算法将跟踪看作为动态系统的状态估计问题，在时间域

对状态进行迭代估计，实现目标定位。此类方法以贝叶斯滤波为理论框架，利用迭代计算的方式估计目标状态的后验概率分布。

1） 卡尔曼滤波及其扩展

2） 粒子滤波

2.      基于区域的跟踪方法

计算目标模板和候选目标区域的相似度，从而确定当前帧运动目标最可能的位置。这种跟踪方法有基于颜色的相似度测量跟踪算法，例如Camshift等。模板需要更新策略，如立即更新、遗忘式更新等。

1） 基于差值平方和

2） 基于颜色统计——meanshift/camshift等

3） 基于形状

4） 基于灰度结构特征——Lucas-Kanade法适应发生非刚性形变的目标，同时对发生仿射变换的目标效果也较好

 

3.      基于模型的跟踪方法（运算量大，难以实时）

1） 线图模型

2） 二位轮廓模型

3） 三维立体模型

4.      基于特征匹配的跟踪方法（应对局部遮挡和光照问题效果较好）

利用目标的角点（如 Harris角点、SIFT 角点以及 SUSAN 角点等）、边缘、轮廓和纹理等显著性特征。

1） 结构匹配

2） 树搜索匹配

3） 假设检验匹配

二、trackingby detection框架

人为手动框出目标区域，并进行跟踪。其核心思想是将目标跟踪看做二分类的问题，并通过在线学习训练具有判别力的分类器将目标从背景中提取出来。此类方法是一种有效的应对目标外观变化的跟踪算法。机器学习的技巧被广泛应用进来。

1.      基于提升算法（Boosting）的外观模型方法