计算机视觉在安全和监控中的18个顶级应用

在过去的十年里，计算机视觉已经成为众多应用中的关键技术，取代了人类的监督和监控。本文概述了视频监控和人工智能安全监控中最先进的计算机视觉研究。

我们将讨论以下主题：

• 最先进的AI视频安全技术
• 基于计算机视觉的异常检测和响应
• 安全和监控中的AI视觉应用
• 计算机视觉入门——软件解决方案

人工智能视频监控的最新进展

计算机视觉结合多种技术，通过计算机分析和理解视频数据。在监控和安全行业应用中，计算机视觉的主要目标是实现人工监督的自动化。捕捉和数字化现实场景的能力为更好、更早地检测威胁、量化风险和提供实时安全评估提供了新的机会。

在新的机器学习、边缘计算、人工智能（AI）和物联网技术的推动下，计算机视觉应用的范围正在迅速扩大，这些技术使得人工智能视觉更加强大、灵活和可扩展。

监控中计算机视觉的边缘人工智能

直到最近，随着深度学习和边缘计算的进步，计算机视觉的应用才成为可能。深度学习是机器学习的一个子领域，它使机器能够从训练数据中学习并将这些算法应用于新数据。

边缘计算是将计算任务从云端转移到数据源（摄像头）附近的网络边缘的系统化过程。因此，边缘计算消除了联网摄像头和设备带来的挑战，例如网络拥塞、持续连接、延迟、稳健性、隐私和数据管理。

现代计算机视觉系统使用边缘计算来处理视频，而无需将视频数据发送到云或其他存储单元。设备上的机器学习和边缘计算的结合也称为边缘人工智能或边缘智能。在计算机视觉的监控和安全应用中，这些新兴技术在实现现实生活中的人工智能应用方面发挥着重要作用。此外，边缘人工智能视觉基础设施可以显著降低大规模实时计算机视觉系统的成本。

具有本地 AI 推理的边缘 AI 架构的高级概念

智能监控摄像机

随着公共场所安全摄像头的广泛使用，人工智能视频分析和计算机视觉场景理解已成为监控系统的基本功能。与移动位置、GPS、雷达信号等其他来源相比，来自摄像头流的视觉数据包含丰富的信息。大规模视频分析系统可以收集有关道路交通、公共场所、建筑物或私人区域状况的统计信息。

现代 AI 视觉软件可以分析几乎所有网络摄像机的视频源。根据硬件配置，单边缘设备可以处理多个摄像机的视频源。强大的边缘服务器可以分析数十到数百个摄像机。

一些 IP 摄像头制造商或交钥匙单点解决方案通过将计算处理器直接集成到摄像头中来提供摄像头智能。然而，出于多种原因，企业系统通常将 AI 计算与摄像头分开。

首先，企业需要保持独立于供应商并保持谈判能力。然后，公司必须避免技术锁定并确保可扩展性和与其系统的集成。此外，如果公司需要扩展功能或提高 AI 性能，集成 AI 处理的摄像头不允许扩展硬件资源。

此外，大多数企业运营的视频系统都配有各种品牌、年代和类型的摄像机（索尼、松下、安讯士、海康威视、大华、三星等）。更换所有摄像机的成本太高，而标准化又会导致锁定成本。此外，大多数摄像机产品每两年都会定期更换新型号。

计算机视觉用于分析摄像机流

人工智能视频监控系统

在传统的视频监控中，系统完全依赖于人类操作员以及个人的判断力和注意力。智能 AI 分析为人类操作员提供快速、客观和一致的信息。根据使用情况，AI 视觉软件可执行交通拥堵、安全威胁、事故和其他异常情况的检测和预测任务。

典型的计算机视觉系统集成了多种软件功能，从数据输入采集到图像预处理、深度学习推理、输出聚合、通信和可视化。这样的计算机视觉系统可以运行一个或多个解决特定问题的应用程序（异常检测、姿势估计、对象检测等）。

计算机视觉应用与人工智能模型

AI 模型不是计算机视觉应用；这两个术语经常互换使用，尽管有些不正确。计算机视觉应用包含一个计算机视觉管道（或流程），其中包含一个或多个 AI 模型。

AI模型需要上游函数来获取和预处理图像数据，然后再将其输入到模型中。只有这样，AI 模型才能执行算法任务，将视频帧转换为特定的元数据（例如，有信心的“人”类别）。原始模型输出需要使用逻辑进行解释和聚合，才能用于解决业务或安全问题。

建筑用例中的安全帽检测模型

人工智能视觉中的异常检测

什么是异常检测？

在计算机视觉中，异常检测是监控场景行为理解的一个子领域。异常通常是场景实体（人、车辆、环境）及其与正常行为的相互作用的异常。异常检测方法通过训练来学习正常行为。异常检测通常使用无监督或非监督学习，或半监督学习的组合。

异常检测的用例

任何明显偏离正常行为的行为都可视为“异常”。例如，人行道上出现车辆、聚会中人群突然散开、有人在行走时摔倒、横穿马路、在交通中绕过信号灯，或车辆在红灯时掉头。

异常检测解决方案

异常检测系统利用数据采集、特征提取、场景或活动学习以及行为理解。异常检测系统针对特定用例进行架构设计，并针对特定部署环境和摄像头定位进行优化。

异常事件检测系统并非易事，需要一套涵盖多个研究领域的技术。一般来说，此类系统会处理视频数据，使用视频处理技术、车辆和人员检测和跟踪、基于多摄像头的技术、智能事件检测等进行场景分析。

异常类型

在 AI 视觉中，异常有多种类型。三种类型包括点异常、上下文异常和集体异常。点异常包括繁忙道路上或隧道中静止的汽车等。上下文异常在不同的上下文中可能是正常的。

例如，在缓慢移动的交通中，如果一辆车比其他车辆移动得更快，那么在人流较少的情况下，什么是正常行为？集体异常是指一组实例合在一起可能导致异常，即使它们单独来看可能是正常的，例如，一群人在短时间内散开。

异常的范围和类别

在视觉监控中，异常通常分为全局异常和局部异常。全局异常可能出现在视频的某一帧或片段中，但无法准确指明事件发生的位置（无定位）。

局部异常通常发生在场景的特定区域内，但可能会被全局异常检测算法遗漏。有些方法可以同时检测到全局和局部异常。

安全监控中的异常检测

AI 视频分析用于交通、地铁、校园、火车、船舶、建筑物和公共场所的异常检测。视觉 AI 中用于异常检测的 CCTV 监控示例包括停止车辆检测、恐慌检测、入侵检测或异常行人活动识别。

用于停止车辆检测的深度学习异常检测

视频监控和安全的应用

智能视频监控包括异常检测、物体检测和跟踪、运动分析技术、监控系统、预防、识别和警告系统等各种应用和用例。协作视频监控可实现集成远程位置的众多摄像头的大规模 AI 视觉系统。

人体检测

人物检测系统使用物体检测算法（例如流行的YOLOv7）来定位视频源中的人物。因此，自动单人和多人检测是智能视频监控系统的关键功能。

人体检测还包括人群分析，以估计场景密度并评估拥挤和不拥挤场景中的移动物体相互作用（例如，在大型活动中）。

具有隐私保护面部模糊功能的人物检测

人员流动分析

路径学习将人体检测与路径建模技术和聚类相结合，以进行人体运动分析。例如，在智慧城市应用中，运动分析用于进行运动预测并分析车辆行为、行人行为、加速度、运动速度和轨迹。

人员识别和生物识别安全

现代视频监控安全系统使用面部识别技术自动识别人员。从高层次上讲，这种生物识别安全技术执行一系列任务，也称为 AI 视觉管道，以 (1) 检测人员、(2) 裁剪面部区域，以及 (3) 应用图像分类将其与数据库中的图像进行比较。

为了符合法律要求，人脸识别算法需要复杂的隐私和安全基础设施。一般来说，人脸识别技术很敏感，因为它可以在未经当事人知情和许可的情况下，用来识别视频和图片中的人物。

实时人脸识别与面部模糊处理

计算机视觉中的行为生物识别

另一种替代人类识别方法包括行为生物识别。行为生物识别的计算机视觉是一个现代技术研究领域，旨在利用人们习惯性的身体和心理特征来识别他们。它已成为一种新颖的身份认证形式，因为它可以在不需要任何身体接触的情况下准确地区分个体。

通过分析面部表情、手势、身体动作和步态识别（也称为步态生物识别）等细微的个人特征，该技术可以检测和识别个人。该技术的应用范围很广，可用于各种目的，例如安全和访问控制、个人识别系统、客户服务、欺诈检测、深度伪造检测和一般监控。

人类行为理解

人员检测、分类和人员跟踪可以在基于视频的监控应用中执行人类行为理解。可以使用分类模型学习特定的行为模式，以识别特定的人类行为。

这可以执行攻击检测、斗殴检测、抢劫或盗窃检测等。分析人类行为的应用还包括使用不同的机器学习和成像技术（如多摄像头检测）进行轨迹聚类。

零售业中的计算机视觉轨迹分析

非法活动检测

人体动作识别和运动模式检测可以检测可疑活动、事件或行为。常用技术包括姿势估计、3D 感知、学习和分类，以检测违反准则或法律的行为。非法活动包括乱扔垃圾、闲逛、乞讨等。

驾驶员和交通安全应用

固定式或车载式摄像头系统可执行不同类型的异常检测。应用包括车道偏离警告、行人检测和自适应警告系统。车载安全和警报系统包括驾驶员监控，例如安全带检测或凝视识别，以分析疲劳程度。

​使用OpenVINO框架进行凝视识别

人工智能安全系统

危险物体和武器检测

实时物体检测使用深度学习来检测和定位视频场景中的特定物体。安全领域中常见的物体识别应用包括武器检测（枪支或刀具）或防护设备检测。

对于许多计算机视觉应用来说，在现实生活中实现物体检测非常具有挑战性；我们将在本文后面讨论原因。

使用来自电影场景的训练数据，通过深度学习进行武器检测

入侵检测和虚拟围栏

敏感位置的虚拟围栏是 AI 视觉监控系统的热门功能。特定关注区域标记虚拟围栏以检测入侵事件，促使系统向安全团队发送警报。

具有感兴趣区域 (ROI) 的虚拟围栏

自动视频摘要

视频摘要是一种让人们无需看完整个视频就能快速了解视频内容和关键信息的过程。例如，在购物中心、健身中心或交通枢纽，操作员花费大量时间观看直播和录制的视频流。

AI 视觉算法用于执行视频摘要、概要生成和基于内容的视频检索。在视频监控中，深度学习模型的历史数据输出可用于识别特定事件并查找相关视频资料。

基础设施安全

事故和交通事件检测

在交通管理和监控中，车辆检测和跟踪算法用于识别特定事件和事件。此类系统在智能城市应用中很受欢迎，也用于交通参数收集、车辆计数、基于视频的收费、交通流分析和行为理解。其他用例包括事故检测、高速公路车辆检测和车辆分类（分析）。

常见的方法是将前景分割或背景减法与卷积神经网络（CNN）结合用于深度学习任务。

利用深度学习进行交通分析

智能停车和车辆监控

车辆或移动物体检测和跟踪与车牌识别结合使用。图像分类算法可以确定车辆型号和类型、颜色或徽标识别。基于 CCTV 摄像头的车辆监控在智能停车场分析中很受欢迎，可以使用计算机视觉识别和跟踪多个停车位的占用情况。

​使用计算机视觉检测停车场

无人看管物体检测

安全领域的遗留物品检测是保管位置、财产和安全监控的一个重要方面。它涉及使用自动化系统，该系统可以在无需人工干预的情况下检测遗留在公共或私人区域的任何物品。

可以训练深度学习模型来检测可能造成潜在安全威胁的物品，例如袋子、盒子、包裹和其他物品。检测到物品后，可以向监控中心或安全人员发送警报或其他警报。有了此警报，他们可以在潜在威胁成为实际问题之前进行检测。

遗弃物体检测安全应用程序

车辆识别和车牌识别

基于视觉的车辆识别使用自动车牌识别(ANPR) 和车辆特征检测（颜色、类型）来使用摄像头识别和统计单个车辆。ANPR 也称为 LPR（车牌识别）。

车辆识别软件首先使用物体检测技术检测车辆，定位车牌，最后使用光学字符识别（OCR）读取车牌。

基于实时视频的自动车牌识别(ANPR)

安全评估

AI 摄像头系统可以实现基于视觉的差距分析、威胁评估、风险、冲突和事故检测。深度学习模型进行识别以数字化现实世界的情况并收集数据以建模和预测威胁情况。

将视觉世界数字化并将其转化为元数据的能力有助于提供高水平的安全评估，这对于保险应用也很重要。例如，我们可以创建动态报告，提供有关车辆或人员移动、交互或地形的信息。

基础设施安全

视觉监控使用计算机视觉来构建路边预警系统，并为公共场所、关键基础设施和交通基础设施的安全监控提​​供决策支持。现代人工智能视觉系统可与几乎所有 CCTV 监控和 VMS 系统集成。例如，计算机视觉处理平台可以获取和处理现有摄像机的视频流。这可以跨不同型号和供应商的摄像机完成。

利用计算机视觉进行交通分析中的实时物体检测

利用计算机视觉进行应急管理

AI 视觉系统可以对自然事件进行紧急分类，包括风暴检测、洪水检测或烟雾和火灾检测。此外，“突发事件检测”可以识别大规模环境中不同位置和摄像头的异常情况。当系统检测到紧急情况时，它可以直接向执法部门发送警报，提示采取适当的紧急响应。

监控和安全人工智能系统还可以检测人为的紧急情况，如道路事故、危险的乌鸦、武器威胁识别、溺水者检测、受伤者或跌倒者检测。

人工智能视觉的挑战

摄像头安全系统中基于视频的异常检测非常具有挑战性。有几个因素使得计算机视觉的实际应用很难实现和扩展：

• 缺乏真实数据：需要大量收集真实数据来训练有效的算法并构建在真实环境中表现良好的计算机视觉应用程序。
• 照明：管理照明变化很困难，因为训练的特征很难从视频中提取。
• 姿势和视角：确定监控区域的摄像机角度对深度学习算法的性能有很大影响。这是因为物体或人的外观可能会根据其与摄像机的距离而改变。
• 异质物体：了解场景中异质物体和实体的运动有时可能很困难。外观的多变性会大大降低应用程序的性能。
• 稀疏与密集：在稀疏和密集条件下检测异常的方法不同。有些方法适用于稀疏环境中的事件识别，但在密集场景条件下（例如人群密集的情况下）可能会产生许多假阴性。
• 遮挡：虽然这项任务对于人类来说相对容易，但在部分或完全隐藏的实例（人或物体）的遮挡下进行检测和跟踪非常具有挑战性。

以上就是本次的分享，如有错误欢迎指出，谢谢！

声明：本文素材来源网络，版权归原作者所有。如涉及作品版权问题，请与我联系删除。