基于视频监控分析异物入侵检测算法的实现方法

随着视觉识别技术的不断发展和应用，大量的应用场景需要对重要设施和区域进行异物入侵检测，如轨道交通、输变电站、铁路沿线、机场跑道等，以防止因异物入侵而导致财产损失或人身安全伤害。

当前用于视频图像的异物入侵检测方法主要有两种：

1) 基于背景建模的运动目标检测方法，典型的方法包括：ＧＭＭ、ＶＩＢＥ等

2) 基于机器学习的目标检测方法，典型的方法包括基于手工特征加滑窗分类的ＨＯＧＳＶＭ和基于深度学习端到端的 ＦａｓｔｅｒＲＣＮＮ、ＹＯＬＯ等

基于背景建模的运动目标检测方法计算复杂度低，但易受光影变化、风吹草动等环境噪声的干扰。虽然具体应用上可以采用一些优化算法在改进噪声抑制方面都取得了一定效果，但本质上依赖手工设计的特征，在复杂环境下依然会存在较多误报。 因此，还需要借助其他算法进一步判断。基于机器学习的方法是目前解决目标检测问题的有力工具，需要通过样本训练，精度高，但复杂度也高。在实际检测中，还会存在样本不平衡的问题。常见目标如人、车等样本充足，但是对于少见的一些异物（比如：金属异物）甚至是未知物，其样本量极少，给分类带来很大的困难。即使是目前先进的少样本或零样本分类算法在常用数据集上的测试准确率最高仅达到 ６８％，距离实际应用还有相当大差距。

在实际应用中我们采用将背景建模与机器学习相结合，分为粗检和精检两部分。粗检部分通过背景建模获得 可疑目标区域，再用基于运动轨迹的快速粗过滤算法获得候选区域。

快速粗过滤算法是通过正警与虚警目标 在运动特性上存在显著差异的原理，通过轨迹追踪可有效滤除误报。

精检部分通过相似性比对算法过滤误报 获取最终报警目标，再将目标进行分类。

其中相似性比对算法是通过设计一种轻量级神经网络实现的，目的是在高层语义比对报警区域前景与背景 的相似性，进一步滤除噪声引起的误报。算法在实际应用中利用相似性比对网络解决了直接使用分类器二次判断的弊端，使得算法更具一般性，能够应用于包含非常见物的情形。相似性比对算法能够成功的原因在于：训练样本很容易获取，只需运动区域的前景与背景，对目标种类没有要求。因为通过模型训练，网络学到的是一种通用的前景与背景的比对能力。

本算法在铁路及轨交应用场景中，得到成功应用。其中在轨道交通的异物入侵场景的应用中，实际测试数据如下：

粗检部分提取的候选区域的准确率为91.5％，漏报率为０，抑制了 99.0％的误报，大幅减少了深度学习部分的触发次数。通过精检后，报警准确率提高至 99.5％，漏报率仅为1.05％，对于常见物的分类准确率为９１.8％。

1. 异物入侵检测算法

异物入侵检测算法框架

算法分为：可疑目标区域初检测、候选区域精确检测两部分。

1) 背景建模目标提取与粗过滤两个步骤

2) 相似性比对与分类两个步骤

背景建模和分类算法在具体项目中可以采用经典GMM背景建模和常用的 Dark net 19分类网络。快速提取到可疑目标候选区域，再通过第二部分算法可精确滤除误报并识别出常见物体。

1.1 可疑目标区域初检测

背景建模直接提取到的运动目标通常会包含各种噪声，如草木、光影等，这些正是误报的主要来源。通常在复杂环境下，出现虚警的概率远大于正警，比例可达数千倍以上。快速有效地排除大部分虚警是初步检测的目标。通过实际检验：报警目标必须发生一定位移量。基于这个试验结果，我们对由背景建模提取的目标进行追踪，根据其运动轨迹进行过滤。

追踪工具采用SORT是一种 简单有效的在线追踪算法，主要依赖于目标检测器 和卡尔曼滤波框架，将检测框与预测框利用匈牙利匹配进行数据关联并清理丢失目标，然后进行模型更新，以此循环往复。获得其轨迹 Ｓｔｒａｊ＝｛ｘ１，ｘ２，…，ｘＮ｝，ｘｔ（ｔ＝１，２， …，Ｎ）为 ｔ时刻运动状态向量，可由卡尔曼滤波器获得。

过滤不满足如下条件的轨迹： ＩＯＵ（ｂｏｘＮ，ｐａｄ（ｂｏｘ１，ｒ））≤ ＩＯＵｍａｘ Ｖａ ＜ １ Ｎ∑ Ｎ ｔ＝１ { ‖ｖｔ‖ ＜Ｖｂ （１） 其中，ｂｏｘｔ和 ｖｔ分别为 ｔ时刻运动物外接矩形框和 速度，可由 ｘｔ获得。ｐａｄ（ｘ，ｒ）为边界扩充函数，表 示将矩形 ｘ向四周分别扩充 ｒ个像素。ＩＯＵ（ｘ，ｙ） 表示计算矩形 ｘ与 ｙ的交并比。ＩＯＵｍａｘ，Ｖａ，Ｖｂ，ｒ均为常数。

第一个约束条件即针对运动物的 位移特性所制定，表示报警目标当前所在区域与其 初始出现的区域的重合度必须小于 ＩＯＵｍａｘ。

第二个 约束条件则表示目标平均运动速率必须在 Ｖａ与 Ｖｂ 之间，这是为了进一步过滤非正常运动的噪声。

1.2目标候选区域精确检测

由初步检测所得的目标候选区域虽然已经较为可靠，能够抑制99％的误报事件，但由于虚警基数庞大，而正常入侵事件发生的次数较少， 因此误报率较高。对目标候选区域进行精确检测是环节的目标。精确检测的具体流程如下图所示。将目标区域的前景与背景送入相似性比对网络进行判决，对判决结果为相似的，认为是虚警直接过滤；否则，认为是正常入侵目标给予报警提示，同时将其送入分类网络进行类别统计。项目中分类网络可试用darknet19。

精确检测

相似性比对网络遵循目前主流的端到端的图像块匹配基本结构。

首先将图片对通过第一阶段卷积网络进行特征提取，然后将提取的特征进行拼接再通过第二阶段网络进行决策，最后直接输出相似值。

特征提取：为防止网络过拟合并加快收敛，利用骨干网络提取图片的基本特征。

总之，在实际应用中我们将背景建模与机器学习相结合的异物入侵检测解决方案。通过提出一种基于深度学习的相似性比对算法，解决了背景建模提取目标 误报率高而机器学习分类漏报率高的矛盾。此外，应用了基于目标运动轨迹的过滤算法，能够快速有效地滤除虚警，大幅降低深度学习算法的触发频率，减少算法复杂度。