· AI 计算图像识别在影像监控和安全监控中的 16 大应用

在过去的十年里，计算机视觉已发展成为众多应用的关键技术，取代了人类的监督和监控。本文概述了影像监控和人工智能安全监控中，最先进的计算机视觉的研究。 

 

我们将讨论以下主题： 

·人工智能影像安全技术的最新技术 

· 计算机视觉异常检测 

· 监控和安全中的人工智能视觉应用 

· 应用计算机视觉在安全方面的挑战 

· 入门 - 软件解决方案 

监控和安全领域的人工智能视觉应用列表 

· 应用#1：人类检测 

· 应用#2：人员运动分析 

· 应用#3：人格辨识 

· 应用#4：武器检测 

· 应用#5：人类行为理解 

· 应用#6：虚拟围篱 

· 应用#7：交通事故检测 

· 应用#8：车辆监控 

· 应用#9：车辆辨识 

· 应用#10：交通安全应用 

· 应用#11：非法活动检测 

· 应用#12：异常检测 

· 应用#13：安全评估 

· 应用程序#14：基础设施安全 

· 应用#15：应急管理 

· 应用#16：影像总结（Video Summarization）   

最先进的人工智能影像监控

计算机视觉使用多种技术组合，来分析和理解计算机的影像资料。在监控和安全行业应用中，计算机视觉的主要目标，是实现人工监督的自动化。捕捉现实场景和数位化的能力为更好、更早地检测威胁、量化风险和提供实时安全评估提供了新的机会。 

在新的机器学习、高阶运算、人工智能和连线的物联网技术的推动下，计算机视觉应用的列表不断快速增加，这些技术使人工智能视觉更加强大、灵活和可扩充套件。   

用于监控中计算机视觉的边缘人工智能 

直到最近，透过深度学习和边缘运算的进步，应用计算机视觉才成为可能。深度学习是机器学习的一个子领域，使机器能够从训练资料中学习，并将这些算法应用于新资料。 

边缘运算是将运算任务，从云端移动到靠近资料源（摄影机）的网络边缘的概念。因此，边缘运算消除了连线的摄影机和装置的挑战，如网络塞车、恒定连线、延迟、使增强性、隐私和资料管理。 

现代计算机视觉系统使用边缘运算来处理影像，而无需将影像资料传送到云或其他储存单元。装置上机器学习和边缘运算的组合，也称为边缘人工智能或边缘智慧。在计算机视觉的监控和安全应用中，这些新兴技术在启用现实生活中的人工智能应用方面，发挥着重要作用。此外，Edge AI 视觉基础设施允许大幅降低大规模，和实时计算机视觉系统的成本。

智慧监控摄影机 

随着安控摄影机在公共场所的广泛使用，人工智能影像分析和计算机视觉场景理解，已成为监控系统的基本特征。与其他信息来源（如移动位置、GPS、雷达讯号等）相比，摄影机影相串流的视觉资料，包含了丰富的信息。 

大规模影像分析系统，能够收集有关道路交通、公共场所、建筑物或私人区域状况的统计信息。现代人工智慧视觉软件，允许使用几乎任何网络摄影机的影像提要。根据其硬件配置，单边缘装置可以处理多个摄影机的影像源。 强大的边缘服务器，可以分析几十到数百只摄影机。 

 

一些 IP 摄影机制造商，或 Turnkey 解决方案商，提供智慧摄影机，计算处理器整合到摄影机中。然而，出于多种原因，企业系统通常将人工智能运算与摄影机本身分开。 

首先，企业需要保持供应商独立，并保持谈判能力。然后，公司需要避免技术锁定，并确保可扩充套件性和与系统的整合性。此外，如果公司需要扩充套件功能，或提高人工智能效能，具有整合人工智能处理的摄影机，不允许扩大硬件资源。 

此外，大多数企业营运影像系统，拥有来自不同品牌、世代和型别的大量摄影机（索尼、松下、安迅士、三星等）。 更换所有摄影机太昂贵了，标准化将导致锁定成本。此外，大多数摄影机产品每两年定期更换一次新型号。

计算机视觉分析摄影机串流

人工智能影像监控系统 

在传统的影像监控中，系统完全依赖于人类操作员，以及个人的判断和意图。智慧人工智能分析，为人类操作员提供非常快速、客观和一致的信息。 根据使用案例，人工智能视觉软件执行任务，以检测和预测交通堵塞、安全威胁、事故和其他异常情况。 

典型的计算机视觉系统，整合了多种软件功能，从资料输入采集，到影像预处理、深度学习推理、输出聚合、通讯和视觉化。这样的计算机视觉系统能够执行一个或多个应用，每个应用都能解决特定问题（异常检测、姿势检测、物件检测等）。   

计算机视觉应用与人工智能模型 

人工智能模型不是计算机视觉应用；这两个术语经常被错误地互换使用。计算机视觉应用，包含包含一个或多个人工智慧模型的计算机视觉管道（或影像串流）。 

AI 模型需要上游功能，来获取和预处理影像资料，然后再将其输入模型。 只有这样，人工智能模型才会执行算法任务，将影像帧转换为特定的元数据（例如，自信的「人」类）。原始模型输出需要解释和逻辑聚合，以帮助解决业务或安全问题。   

人工智能视觉中的异常检测 

什么是异常检测？ 

在计算机视觉中，异常检测是从监控场景中，理解行为的一个子领域。异常通常是场景实体（人、车辆、环境）及其与正常行为的互动的畸变。通常，异常检测方法透过训练学习正常行为。异常检测通常使用无监督或无监督学习，或组合的半监督学习。   

异常检测应用案例 

任何明显偏离正常行为的东西，都可以被认为是「异常」。例子包括人行道上的车辆存在，聚集物中的人突然分散，行走时的人摔倒，马车行走，交通讯号绕过，或红色号志灯的车辆掉头。   

异常检测解决方案 

异常检测系统利用资料采集、特征提取、场景学习和/或活动学习，以及行为理解。异常检测系统针对特定的案例进行设计，针对特定的布署环境，和摄影机定位进行了最佳化。 

异常事件检测系统是非微小的，需要一套跨越多个研究领域的技术。一般来说，此类系统使用影像处理技术、车辆和/或人员检测和追踪、基于多摄影机的技术、智慧事件检测等组合，处理影像资料以进行场景分析。   

异常型别 

在人工智能视觉中，有不同型别的异常。 这三种类型包括点异常、上下文异常和集体异常。例如，点异常包括繁忙道路上或隧道中的非移动汽车。上下文异常在不同的上下文中可能是正常的。 

例如，在缓慢行驶的交通中，如果车辆比其他车辆移动得更快，那么在密度较低的情况下，什么是正常行为。当一群例项一起可能导致异常时，就会发生集体异常，即使它们可能是正常的，例如，一群人在短时间内分散。   

异常的范围和类别 

在视觉监控的背景下，通常会看到被归类为全球和区域性异常的异常。全域性异常，可能出现在影像的帧或片段中，而无需准确指定事件发生的位置（无本地化）。 

区域性异常通常发生在场景的特定区域内，但全域性异常检测算法可能会忽略。一些方法可以检测全域性和区域性异常。   

监控和安全中的人工智能视觉应用 

智慧影像监控包括用于异常检测、物体检测和追踪、运动分析技术、监控系统、预防、辨识和警告系统的广泛应用和用例。合作影像监控使大规模的人工智能视觉系统，能够整合远端位置的众多摄影机。   

人类探测 

人检测使用物件检测算法（如 YOLOv7）在影像提要中定位人。自动单人和多人检测是智慧影片监控系统的重要功能。 人类检测还包括人群分析，以估计场景密度，并评估拥挤和不拥挤场景中的移动物体相互作用。

人员运动分析 

路径学习将人类检测与路径建模技术和聚类相结合，以执行人体运动分析。 例如，在一些智慧城市应用中，运动分析用于执行运动预测和分析车辆行为、行人行为、加速度、移动速度和轨迹。   

人格识辨识 

某些安全监控系统应用人脸辨识软件，来执行人员确认/辨识。在高层次上，基于人工智能的人辨识软件，结合了多个步骤来检测人脸，裁剪人脸区域，并应用影像分类，将其与数据库比对。人类辨识的另一种替代方法，包括行为生物辨识。在大多数应用案例中，此类影像辨识服务，需要保护隐私的计算机视觉技术。

人脸检测与人脸辨识相结合，以进行人脸辨识。 

武器或危险物体检测 

实时物件检测，使用深度学习来检测和定位影像场景中的特定物件。安全中的常见物体辨识应用包括武器检测（枪支或刀具）或保护装置检测。 至于许多计算机视觉应用，现实生活中的物件检测实现起来非常具有挑战性；我们将在本报导稍后面讨论原因。

 

使用电影场景的训练资料，进行深度学习的武器检测。 

人类行为理解 

人检察、分类和人际追踪，用于基于影像的监控应用中的人类行为理解。可以透过分类模型学习特定的行为模式，以辨识特定的人类行为。这可用于攻击性检测、争吵检测、抢劫或盗窃检测等。分析人类行为的应用，还包括使用不同的机器学习和成像技术（如多摄影机检测），进行轨迹聚类。

                                                          计算机视觉的轨迹分析 

 

虚拟围篱 

敏感位置的虚拟围篱，是人工智能视觉监控系统的一个热门功能。 特定兴趣区域标记虚拟栅栏，以检测入侵事件。

具有兴趣区域（ROI）的虚拟栅栏

交通事故检测 在交通管理和监控中，车辆检测和追踪算法，用于辨识特定事件和事件。这种系统在一些智慧城市应用中很受欢迎，也用于交通自变量收集、车辆计数、基于影像的收费、交通流量分析和行为理解。其他应用案例包括事故检测、公路车辆检测和车辆分类（剖析）。常见的方法将前景分割，或背景减法与卷积神经网络（CNN）结合起来，用于深度学习任务。

深度学习的流量分析

车辆监控 

车辆或移动物体的检测和追踪与车牌辨识相结合。影像分类算法，用于确定车辆型号和型别、颜色或徽标辨识。基于摄影机的车辆监控，在停车场分析中很受欢迎，用于检测和追踪具有计算机视觉的多个停车位的占用情况。

带有计算机视觉的停车场检测 

车辆辨识 

基于视觉的车辆辨识使用自动车牌辨识（ANPR）和车辆特征检测（颜色、型别）来使用摄影机辨识和计数单个车辆。ANPR 也被称为 LPR（许可证板辨识）。车辆辨识软件首先透过物体检测检测车辆，定位车牌，最后使用光学字符辨识（OCR）读取车牌。

 

基于影片的实时自动车牌辨识（ANPR） 

交通安全应用 

固定或车载摄影机系统，用于执行不同型别的异常检测。应用包括车道偏离警告、行人检测和自适应警告系统。车载安全系统包括驾驶员监控，例如安全带检测或凝视辨识（gaze recognition 用于分析疲劳和疲劳）。

                                               使用 OpenVINO 框架进行凝视辨识 

非法活动检测 

人类行为辨识和运动模式检测，用于检测可疑事件或行为。流行的技术包括姿势估计、3D 感测、学习和分类，以检测违反准则或法律的行为。非法活动可能包括乱扔垃圾、游荡、乞讨等。   

安全监控中的异常检测 

人工智能影像分析用于交通、捷运、校园、火车、船只、建筑物和公共场所的异常检测。视觉人工智能中异常检测的例子，包括停车车辆检测、恐慌检测或异常行人活动辨识。

用于停止车辆检测的深度学习异常检测 

安全评估 

人工智能摄影机系统，用于实现基于视觉的差距分析、威胁评估、风险、冲突和事故检测。深度学习模型执行辨识，以数字化现实世界的情况，并收集资料来建模和预测威胁情况。将视觉世界数字化，并将其转换为元资料的能力用于提供高阶安全评估，这对保险应用也很重要。 例如，可以建立动态报告，提供有关车辆或人员移动、互动或地形信息的信息。   

基础设施安全 

视觉监控使用计算机视觉进行路边警报系统，并在公共场所的安全监控中提供决策支援。安全应用程序包括被遗弃的物体检测，以尽早找到可能危险的物品。

                                                  被遗弃物体检测的安全应用程序  

带有计算机视觉的应急管理 

人工智能视觉系统对风暴、洪水检测、烟雾和火灾探测等自然事件，进行紧急分类。突发事件检测用于辨识不同位置，和摄影机的异常情况。监控和安全系统还用于检测人为紧急情况，如道路事故、危险乌鸦、武器威胁检测、溺水人员检测、伤员或人员跌倒检测。   

影像总结 

AI 视觉算法用于执行影像总结、概要生成和基于内容的影像检索。在影像监控中，深度学习模型的历史资料输出，可用于辨识特定事件，并查询相关影像材料。   

人工智能愿景的挑战 

影像监控中，基于影像的异常检测非常具有挑战性。有许多因素使计算机视觉的现实应用，非常难以实现和扩充套件： 

· 缺乏现实生活中的资料：非常需要现实生活中的资料收集，以训练有效的算法，并建构在现实世界环境中，表现良好的计算机视觉应用。 

· 照明：管理照明的变化很困难，因为很难从影像中提取训练有素的功能。 

· 姿势和视角：决定监视区域的摄影机角度，对深度学习算法的效能有重大影响。这是因为物体或人的外观，可能会根据他们与摄影机的距离而变化。 

· 异质物体：学习场景中异构物体和实体的运动有时可能很困难。外观的变异性，大大降低了应用程序效能。 

· 稀疏与密集：在稀疏和密集的条件下，检测异常的方法不同。一些方法适合在稀疏环境中进行事件辨识，但在密集的场景条件下，可以产生许多假阴性，例如，人群众多。 

· 遮挡：在阻塞下检测和追踪部分或完全隐藏的例项（人或物体），是非常具有挑战性的，尽管这项任务对人类来说相当容易。