示例地址:https://cn.mathworks.com/help/vision/examples/motion-based-multiple-object-tracking.html
简单来说,基于动态的多目标跟踪主要分为两步:
①在每帧中检测出移动的目标
②将检测到的目标与之前正在跟踪的同一个目标关联起来
第①步又分为:
a)使用混合高斯模型做背景减法,得到移动的目标。(前后景分离)
b)通过形态学操作消除前景掩膜中的噪声。
c)通过blob分析检测连通域,得到对应的移动目标。
在第②步开始前先解释下下列名词:
unassigned detection:当前帧中,新检测到的目标与所有正在跟踪的目标(轨迹)都不能匹配
assigned detection:当前帧中,新检测到的目标能匹配到轨迹
unassigned tracking:当前帧中,匹配不到新检测到的目标的轨迹
assigned tracking:当前帧中,能匹配到新检测到的目标的轨迹
第②步又分为:
d)利用卡尔曼滤波计算并预测每个轨迹在下一帧中的位置,然后计算预测的轨迹位置和每个新检测到的目标之间的欧几里得距离,将度量结果作为损失函数矩阵,再使用匈牙利匹配算法根据阈值计算得到assigned/unassigned tracking/detection。
e)更新tracking和detection,将assigned tracking更新至当前帧assigned detection的位置,将达到阈值的unassigned tracking删除(连续消失多帧),将unassigned detection添加到轨迹中。
至此,基于动态的多目标跟踪介绍完毕。而在整个过程中存在许多阈值设置问题,其中许多都是需要通过反复实验或前人经验,根据实际情况得到的,具体有哪些阈值在代码中会有注释说明。在本例中使用的是matlab提供的最初始值。
以下为部分实验结果截图:
图1
图2
图1的跟踪效果良好,右边边缘没有出现跟踪编号是因为还没达到最小连续出现帧数的阈值;
图2产生了两个问题:①中间路牌后面的两个人没有检测到,原因一是产生遮挡,二是因为他们连续静止。②编号4将两个并排走的人归为同一个目标来进行跟踪,原因是形态学操作和连通性检查没有做到太细。
因为本例是基于动态的多目标跟踪,所以对于连续多帧静止的物体会自动归为背景,所以问题①必须用其他方法解决(基于特征、统计等等);而在形态学操作上可以尝试将开操作和闭操作使用的矩形大小调整下,可能可以解决。(本文还未处理,这里先提出来)
另外,基于动态的多目标跟踪还存在一个与问题①对应的问题:当不是感兴趣的目标连续移动时,比如本来想检测人,结果有风吹草动、车辆经过等等,都会影响到跟踪效果,因此必须使用其他方法来解决在前景检测中划分不同类别物体的问题。
以下是代码介绍: