随着计算机技术以及智能汽车行业的发展,多目标的检测与追踪的实用性与研究价值逐渐提高。在计算机视觉的三层结构中,目标跟踪属于中间层,是其他高层任务,例如动作识别以及行为分析等的基础。其主要应用可包括视频监控,检测异常行为人机交互,对复杂场景中目标交互的识别与处理,以及虚拟现实及医学图像。
目标跟踪又包括单目标跟踪和多目标跟踪。单目标跟踪可以通过目标的表观建模或者运动建模,以处理光照、形变、遮挡等问题,而多目标跟踪问题则更加复杂,除了单目标跟踪回遇到的问题外,还需要目标间的关联匹配。另外在多目标跟踪任务中经常会碰到 目标的频繁遮挡、轨迹开始终止时刻未知、目标太小、表观相似、目标间交互、低帧率等等问题。
静止背景下的多目标追踪可分为两步来实现,第一步是在视频文件的每帧中检测出移动的目标,第二步是将检测到的目标与跟踪轨迹实时匹配。在本次实验中,利用混合高斯模型进行背景减除,使用形态学操作消除噪声,通过卡尔曼滤波预测目标位置,最后利用匈牙利算法进行匹配,实现静止背景下的多目标追踪。
1 实验原理
1.1 混合高斯模型
单高斯模型是利用高维高斯分布概率来进行模式分类:
![v2-759d075c9fd34f112c5905ab7970f371_b.png](https://i-blog.csdnimg.cn/blog_migrate/25f7842c291f0c1f277f4e25f29d4b40.png)
![v2-b775bba78aa13c9745ee9df280da2a24_b.jpg](https://i-blog.csdnimg.cn/blog_migrate/44223539fb2e8b1babf45f2c73d421be.jpeg)
![v2-bfff2860deb0b020c3439a25404826a4_b.jpg](https://i-blog.csdnimg.cn/blog_migrate/b550f7b070e63ee3dc68e9c48cecca8d.jpeg)
![v2-0517f6d07854ddb2e272924abceeeba2_b.png](https://i-blog.csdnimg.cn/blog_migrate/4034498641b8bbf92b6935d74a5d3801.png)
![v2-ffce1051e1e0f3a44c7cea2f6ee9acce_b.jpg](https://i-blog.csdnimg.cn/blog_migrate/26a8ec7f84163d42108dcb85480bcbd2.png)
1.2 卡尔曼滤波
卡尔曼滤波是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。其核心思想是,根据当前的测量值、上一时间的预测值以及误差,计算得到当前值,并可以持续预测下一时间的值。
试验中利用卡尔曼滤波计算并预测每个轨迹在下一帧中的位置,建立帧间轨迹的关系。卡尔曼滤波将跟踪分为5种状态:新目标出现、目标匹配、目标遮挡、目标分离以及目标消失。其状态方程如下所示:
![v2-98732b5a2a929856c083cb5416d4ba9e_b.jpg](https://i-blog.csdnimg.cn/blog_migrate/6fc4d9035c79b8250ed8a508adceef78.png)
![v2-6536395bd79f23c3317a8e60982b8981_b.png](https://i-blog.csdnimg.cn/blog_migrate/397a407b91fe5d5f46965d0c31a7d06e.png)
定义好了观测方程与状态方程之后就可以用卡尔曼滤波器实现运动目标的跟踪,步骤如下:
1)计算运动目标的特征信息(运动质心,以及外接矩形)。
2)用得到的特征信息初始化卡尔曼滤波器。
3)用卡尔曼滤波器对下一帧中对应的目标区域进行预测,当下一帧到来时,在预测区域内进行目标匹配。
4)如果匹配成功,则更新卡尔曼滤波器。
1.3 匈牙利匹配算法
匈牙利匹配算法是一种利用增广路径求取二分图最大匹配的算法。匈牙利树一般由宽度优先搜索(BFS)构成。从一个未匹配点出发运行 BFS,且必须走交替路,直至不能再扩展为止。交替路指的是,从一个未匹配点出发,依次经过非匹配边、匹配边...循环往复,形成的路径称为交替路。
示意图如图1所示:
![v2-9d5f16e666cd602ce8716d834e495447_b.jpg](https://i-blog.csdnimg.cn/blog_migrate/ae8b152edbcb02b9430ee8bc5c229391.jpeg)
图1 匈牙利树匹配
匈牙利算法的要点如下:
- 从左边第一个顶点开始,挑选未匹配点进行搜索,寻找增广路。
- 如果经过一个未匹配点,则寻找成功。更新路径信息,匹配变数+1,停止搜索。
- 如果一直没有找到增广路,则不再从这个点开始搜索。
- 找到增广路之后需要沿着路径更新匹配,通过prev 数组来记录路径上的点。
在实验中,用匈牙利算法将新一帧图片中检测到的运动物体匹配到对应的轨迹。匹配的过程是通过最小化卡尔曼预测得到的质心与检测到的质心之间的欧氏距离之和实现的。
通过卡尔曼滤波计算并预测每个轨迹在下一帧中的位置,然后计算预测的轨迹位置和每个新检测到的目标之间的欧几里得距离,将度量结果作为损失函数矩阵。损失矩阵的大小为(M,N),其中M是轨迹数目,N是检测到的运动物体数目。
2 实验内容
2.1 目标检测
要实现目标检测,首先利用混合高斯模型区分前景背景。通过调用函数vision.ForegroundDetector设置检测子为混合高斯模型,其中参数分别为高斯核数目、训练背景帧数以及背景阈值。函数的返回值为一个二进制掩码