计算机视觉技术在安防方面的应用

此文章内容为智能安防专题论坛讲座cv方向内容整理
韩军功教授：

1. 现在是cv+is最好的时代

2. 1. 从应用角度而言，现在国内摄像头较多。但是现在摄像头中信息提取大多数还是靠人工完成，从而导致效率低下。因而cv算法的落地成为必要需求。
   2. 从技术角度而言，cv不是新兴产业，在2013年后，随着深度学习的发展，cv得到了飞速发展。此处做一个简单的技术统计：引入深度学习之后，cv领域自动算法已经逐渐超过了人工。

总结：上述两方面，说明目前是cv+is的良好契机。

1. 从欧盟项目说明如何应用cv在is领域。

第一个欧盟项目：包含两个项目。

• 第一个是和智能摄像头公司合作，这个摄像头中嵌入了基本的图像算法如压缩、去噪和人脸检测等等。公司希望在未来研究一套软件算法，对人体行为进行分析，在小组人中检测异常事件。从而开发了人体运动估计：分为像素级（像素级聚类）、物体级（检测目标是人或者车，然后进行跟踪轨迹）和事件级（根据先后顺序等检测出异常事件）。使用两路摄像头采集两路视频进行分析，两路摄像头匹配之后建立三维模型，从而分析人的动作。
• 第二个是针对交通监控，公司需求是对交通路口车辆和行人进行检测、跟踪和分类。因为与第一个项目比较接近，因而是基于第一个项目的研发。针对交通工具分类使用三维模型，根据三维模型大小对车的类型进行分类。

第二个欧盟项目：

这个项目主要是针对希腊和意大利比较著名的古迹，避免其被森林大火影响。

分两个阶段:第一阶段主要是做检测，第二阶段主要是做管理。

消防提供消息说：检测不是最重要，重要的是预测火势蔓延并进行布控。

1. 如何对红外和可见光图像进行配对

在分析大量算法的基础上（当时算法一个是利用整体变换,另一个是利用局部变换），在此基础上研发新的算法，把局部和整体匹配相结合。先利用边缘信息进行整体匹配，再针对兴趣点进行局部匹配。

1. 两路摄像头图像融合

针对防火，如果单一从可见光图像检测火，基本不可能。而红外比较容易检测火苗，但是红外丧失了纹理信息，从而很难直接通过红外定位火苗。因而融合红外摄像头和可见光摄像头，实现定位和检测火苗。算法创新：融入显著性检测，两个图像都做显著性检测，对检测出的结果做加权。

总结：在十几年前，is一直是欧盟比较重视的项目。

1. 英国项目

第一个项目是开发小物体和快速移动物体的实时跟踪。比如跟踪高速路上快速行驶的车辆。难点：如何在复杂背景下，检测小型物体（在图像中占比不到百分之三的物体）；摄像机和物体都是运动的。

创新点：

1. 在CNN的基础上，开发了double filter。从而对图像进行加强。
2. 小型物体容易跟丢，如何检测跟丢和重新检测。对物体表面模型进行建模，时域上假设是高斯分布，通过训练出来的filter检测物体是否跟丢。

第二个项目是在机场中检测每一个出入口的人流密度情况，从而使机场更好的运营管理。17年之前算法主要是检测人的身体部位来技术，缺点是人群数目超过50后就不工作了。17年之后使用神经网络来检测人，但是需要解决背景噪音和目标的尺寸变化（近大远小）。后面开发出SDANet解决上述问题，创新点：

1. 加入感兴趣区域的检测
2. 针对尺寸变化设计了新的小型网络

总结：汇报最新成果。

面向监控视频的目标感知与行为事件分析

• 基于轨迹的行为分析：

并不是完全基于视觉，根据各种传感器得到轨迹信息。分析轨迹信息。

• 面向任意视频的行为识别：

目前cv领域最常见的领域，根据任意视频识别行为。

• 面向监控视频的行为识别：

特点：非配合，感兴趣区域存在位置特殊，因而必须进行定位；对于某些特定行为要求准确率非常高，而不是很多类。

分类：

• 密集场景行为识别：统计密集度等流量统计分析。
• 一般监控场景行为识别：最常见的行为识别。
• 异常行为识别：训练出正常模态，如果不同于正常模态，就认为是异常。这个领域做个预处理，提取出可能出现异常的区域，效果可能比较好。

主要应用：目标检测跟踪。

工作介绍：

1. 目标检测方面：

应用方面的优化：在不影响精度的情况下，尽可以提高速度。一方面希望能够通过改进网络结构，显著加速检测速度；另一方面希望不改变网络结构，改进损失函数等来改进样本不平衡问题，从而提高速度。

现在的工作：

• 对目标检测框的位置作为隐变量，直接学习目标检测位置。
• 在监控场景中，常常会出现分辨率和精度的矛盾，先找出可能是目标的区域，然后把这些区域拼接到小的图像中，从而输入这些小图像。从而保证了图像分辨率。
• 对于旋转目标，尝试使用斜的框进行检测。
• 使用单步相机进行三维位置关系估计。

1. 跟踪方面的工作：

把检测目标在时域中进行关联。只要做两三百帧比较鲁棒的关联，效果就比较好。

跨相机之间的关联。没必要非要匹配一个人，可以尝试匹配一群人。

在复杂场景下，检测和跟踪算法仍然具有较大挑战。

数据集:http://humaninevents.org 8月重新开放。

1. 行为识别方面工作：

监控场景中的行为识别：时空行为定位。并不是给一段视频进行定位，而是有许多视频。通过加入全局时序信息来增强特征，在不同帧之间增强特征和关联度。做了降取样，并不是每一帧都检测，而且为自适应采样。先找到粗管道，再对粗管道进行精细化。

应用方面：还需要和检测和跟踪等相关联，减少卷积次数。

音视频联合行为识别。

简单场景行为识别比较容易，但是复杂场景仍然存在挑战。

1. 基于轨迹的行为分析：

根据很多输入的轨迹，梳理对应的运动模态。

1. 密集场景行为分析：

基于区域分析；基于场景自动提取行为，基于行为的摘要。

1. 压缩：

随着语义信息的应用，数据量变得很大。对应检测结果或者骨架进行压缩，从而大大减少数据量，平均可以压到百分之七十。