2021-11-05深度学习

 关注微信公众号：人工智能技术与咨询。了解更多咨询

基于YOLOv3 和ASMS 的目标跟踪算法

人工智能技术与咨询 3天前

本文来自《光电工程》，作者吕晨等

1.   引言

目标跟踪一直是计算机视觉的重要应用领域和研究热点。随着硬件设施的完善和人工智能技术的发展，目标跟踪技术也变得愈发重要。目前目标跟踪已在智能人机交互[1]、交通领域和军事领域占据重要地位。然而目标跟踪也面临着外观形变、光照变化、尺度变化、快速运动的运动模糊和目标遮挡等[2]导致的目标丢失问题。

目标跟踪方法就工作原理[3]可分为生成式模型和判别式模型，生成式模型有光流法[4]、粒子滤波[5]、Meanshift[6]算法等，判别式模型包括MIL[7](multiple instance learning)、TLD[8](tracking learning detection)、支持向量机[9]等经典的目标跟踪算法。传统Meanshift算法采用目标的颜色概率直方图作为搜索特征，通过不断迭代Meanshift向量使得算法收敛于目标的真实位置，因其计算量不大，具有较好的实时性。但由于在跟踪过程中窗口尺度保持不变，当目标尺度有所变化时，跟踪就会失败。ASMS[10](adaptive scale meanshift)算法在经典Meanshift框架下加入了尺度估计，引入尺度不剧变和可能偏最大两个先验作为正则项，从而实现了尺度自适应，同时增强了算法的鲁棒性。但是ASMS算法仍需手动圈取感兴趣区域，属于半自动跟踪算法且缺失在目标丢失后的后续处理。

为了实现跟踪的有效性和鲁棒性，深度学习算法已广泛应用于目标跟踪领域。常见的算法主要分为两种，一种是基于候选区域，这种方法需要先获取候选区域，然后进行分类，如R-CNN[11](region convolutional neural networks)、Fast R-CNN[12]、Faster R-CNN[13]等算法。另一种是单次目标跟踪算法，该方法直接在网络中提取特征来预测物体分类和位置，如YOLO[14](you only look once)和SSD[15](single shot multibox detector)。相比较于基于候选区域的算法，单次目标跟踪算法的实时性更高，可以避免背景错误, 学习到物体的泛化特征。YOLOv3[16](you only look once version 3)是基于YOLOv1和v2[17]的改进版本，采用Darknet-53作为新的主干网络，借鉴了ResNet的残差结构，去掉池化层和全连接层，通过改变卷积核的步长来实现张量的尺寸变化，在保持速度优势的前提下，提升了预测精度，尤其是加强了对小物体的识别能力。在SSD的基础上衍生出DSSD[18](deconvolutional single shot detector)和FSSD(feature fusion single shot multibox detector)算法[19]。DSSD是利用反卷积将特征图进行上采样，与原始的特征图进行融合，然后混合后的特征图输入感知器网络进行预测，解决了SSD对于小目标物体的检测效果依然不够理想的缺点。FSSD算法提出了一种特征融合的方式，利用得到的特征图重新进行下采样得到不同的特征图尺度，输入感知器网络进行预测。

YOLOv3算法相较DSSD和FSSD算法具有更高的精确性和实时性，所以本文选择YOLOv3算法与ASMS算法相结合，并引入实时跟踪效果判断机制，以解决目标受到物体遮挡或快速运动而导致的丢失问题。并且为了提升算法运行速度，降低算法对于硬件的要求，对YOLOv3进行剪枝。

2.   相关工作

2.1   YOLOv3前景检测算法介绍

YOLOv3保留了前两代算法用网格来划分输入图片区域，每块区域单独检测目标的思想；延续了v2版本使用BN(batch normalization)做正则化的方法，把BN层和LeakyReLU层连接到每一层卷积层之后；采用端到端训练，省去了在每一个独立学习任务执行之前所做的数据标注。

YOLOv3的检测框架图如图 1所示。

图 1.  YOLOv3的检测框架图

Figure 1.  Block diagram of YOLOv3

下载: 全尺寸图片 幻灯片

YOLOv3对边界框进行预测时采用逻辑回归，在预测进行之前，对锚框包围的部分进行一个目标性评分以去掉不必要的锚框，减少计算量。

由于在进行目标跟踪时，只需要判断出前景和背景即可，无需对目标进行更进一步的种类划分，所以本文将逻辑回归Softmax的输出由80个种类更改为前景和背景两种。

2.2   ASMS跟踪算法介绍

ASMS是基于Meanshift算法的一种改进算法，加入了尺度估计，引入尺度不剧变和可能偏最大两个先验作为正则项，主要解决了Meanshift预测边框不能自适应的问题，并且使得范围估计更加具有鲁棒性。ASMS算法通过最小化候选区域与目标区域颜色特征的Hellinger距离并使用Meanshift迭代候选区域使得两者匹配从而完成跟踪。

候选区域和目标区域的Hellinger距离计算如下：

H[p^(y),q^]=1−ρ[p^(y),q^]−−−−−−−−−−−√,H[p^(y),q^]=1−ρ[p^(y),q^],

(1)

其中：

ρ[p^(y),q^]=∑u=1mp^u(y),q^u−−−−−−−√。ρ[p^(y),q^]=∑u=1mp^u(y),q^u。

(2)

上式中目标区域特征u∈{1,...,m}u∈{1,...,m}的概率为q^uq^u，候选区域的特征概率为p^u(y)p^u(y)。

本文为了使距离度量结果更加直观以及便于对候选区域和目标区域的相似度展开分析和对目标丢失条件进行评判，使用Bhattacharyya距离(即上式(2))作为距离度量公式，使式(2)最大化，并通过Meanshift迭代得到新的候选区域坐标和边框尺度。

3.   基于YOLOv3和ASMS的目标跟踪算法

本文所研究的是在摄像头和背景均固定的情况下运动物体的跟踪问题，由YOLOv3算法检测出的前景区域通过非极大抑制确定目标框，将运动目标直接作为ASMS算法的初始目标区域，并对目标进行跟踪，即可实现算法的全自动运行。在跟踪过程中实时判断跟踪效果，当候选区域与实际目标产生较大偏差或发生遮挡时，使用YOLOv3算法对目标进行更新从而提升算法跟踪精度，解决了目标丢失的问题。在对YOLOv3和ASMS算法进行联合时，为了提升算法的运算速度，实现实时性要求，减少算法的参数量以及体量，本文对YOLOv3算法进行模型剪枝。

3.1   YOLOv3剪枝

模型压缩是一种重新调整深度模型所需资源消耗的有效工具，该方法可以精