AI智能行为分析预警系统技术方案

1. 项目简介
   1. 系统概念

AI智能行为分析预警系统，是一款以行为识别技术为核心技术，基于AI神经网络的深度学习算法，把人的主要活动骨架结构化，根据人的运动轨迹，计算出各种动作行为，去识别监控摄像机拍摄到的各种人的异常，通过视频解码技术、流媒体技术、数字矩阵技术、云技术、联动控制技术等，把该异常实时画面弹屏显示出来，达到主动防御、提前预警的目的，辅助监控中心值班人员高效处理各种异常突发事件的智慧监控系统。

通过在监控局域网中架设一台AI行为分析服务器，即可达到行为分析的目的。该技术的落地，直接让系统接管了人员的大部分工作：

首先依靠系统的自动识别，去自动检测发现前端摄像机拍摄回来的画面，分析出其中的异常情况，从而解放了监控中心的值班人员依靠人力去监控的问题。

其次，系统发现问题后会主动弹屏预警并伴随有声音提示，方便监控中心能快速通过实时视频画面发现和判断异常情况，免去了传统需要依靠人力操作键盘手动调集画面到大屏上显示的工作。

最后，系统会自动存储异常视频用于视频取证，可快速从海量的视频录像文件中查找证据，大大的提高了工作效率。

该技术还可以和人脸识别技术、人体识别技术相结合，当行为识别技术识别出场景下有人触发异常行为的报警后，立即抓拍人脸，分析其身份，并联动周边摄像机弹屏，锁定其位置，跟踪、定位。并根据其高矮胖瘦、男女老少、着装姿态等特征，全方位立体识别，让其无处遁形。

该技术通过网络协议，可以对接消防报警系统、广播系统、门禁系统、红外报警系统、开关量信号检测相关系统等，实现相互联动。

该技术前端支持第三方品牌的摄像机接入服务器进行分析，后端支持把预警图片与视频及报警统计信息推送给第三方平台，实现各种对接。

1. 1. 系统架构
      1. 小型组网：

该架构中，AI智能分析预警系统、摄像机、录像机同时接入监控局域网中，取摄像机或录像机的RTSP流进行分析。

1. 1. 1. 大型组网：

该架构一般为大型监控局域网架构，所有前端图像采集设备、录像存储设备、流媒体转发设备、矩阵控制设备、AI智能分析预警系统、人脸分析设备等均接入监控局域网中，摄像机流统一由流媒体服务器转发，AI智能分析预警系统取其中视频流进行实时分析。

1. 1. 技术原理

AI智能行为分析预警系统，其核心技术是行为识别技术。

它是基于AI神经网络的视觉分析算法，把人的主要活动骨架结构化，根据人的运动轨迹，定义的各种异常动作行为，当监控摄像机拍摄到这些异常行为时，立即预警。

行为识别：识别人的异常动作行为，预警，并标记。当系统检测到异常行为并与预警后，人脸识别立即分析其身份，人脸识别和人体识别立即定位和跟踪，物体识别辅助人体识别和行为识别。

1. 1. 动作定义

AI智能行为分析预警系统的动作定义，主要分为四种：肢体动作、骨骼动作、人数动作、时间动作。

1. 1. 1. 肢体动作：

代表作有打架、求救、跌倒、传递。

这类动作的定义是根据人的骨骼运动轨迹来定义的，相对来说，它们会存在误报，误报的主要原因为相似动作引起的误报。比如打架动作，情侣搂抱和朋友之间的打闹都会引起误报。

1. 1. 1. 骨骼动作：

代表作有闯入、警戒、攀爬、攀高、独处、离床、离开、逆行，这类动作的定义是场景下有人的骨骼存在，就会根据不同的条件来报警。这类动作是极低误报的，甚至可以实现零误报。

1. 1. 1. 人数动作：

代表作有聚众、尾随，这类动作是根据场景下人的骨骼的数量来定义的，准确度和误报率都非常可控，没有误报。

1. 1. 1. 时间动作：

代表作有徘徊、滞留、入厕超时、离岗、睡岗、缺岗，这类动作是根据场景下人的骨骼并计算一定的时间来定义的。

按场景来分，动作主要分为三大类：安防事件、突发事件、管理事件。

安防事件：攀爬、闯入、警戒，这三个动作主要用于安全防范。

突发事件：打架、跌倒、求救、聚众、徘徊、滞留等这类动作主要用于预防意外突发。

管理事件：而类似离岗、睡岗、缺岗等这类动作，则主要是用于管理上的需求，监督人的工作情况。

1. 1. 系统联动

AI智能行为分析预警系统，可以联动消防报警系统、广播系统、门禁系统、红外报警系统，以及其他所有第三方开关量信号检测设备，或其他第三方系统进行联动控制。

1. 1. 平台对接

AI智能行为分析预警系统，可通过SDK对接第三方平台。第三方平台包括安防指挥平台、大数据综合平台、人脸分析平台、视频结构化分析平台等。AI智能行为分析预警系统可以把系统检测到的异常行为推送给第三方平台，通过SDK对接。

1.  功能介绍
   1. 系统功能描述

系统：AI视觉算法-ubuntu系统定制

同时最大接入路数64路视频进行分析

用户管理：支持用户建立、角色分配

视频设置：支持视频源通道添加、通道设置、算法设置、删除通道、通道复制等，支持通道取流状态查询，支持通道分析状态查询

历史事件：支持历史事件记录按照事件类型、事件时间、视频源编号、视频源名称等不同方式搜索查询，支持历史事件趋势统计图表查看，支持当日历史事件种类发生次数统计显示

分析算法：支持算法名称的描述查看

布控策略：支持配置不同的布控策略，可以按照不同算法、不同时间进行配置

网络设置：支持设置自动获取的动态地址，也可以设置静态地址，同个页面支持网络地址ping测试

界面设置：支持首页设置内容有提示音、系统负载、播放器独立切换、视频源ID、热力图、关键点、人体骨架，支持历史事件界面设置内容：视频源ID、视频源名称、关键点、人体骨架、每页事件行数、每页事件列数

系统管理：系统负载展示，系统信息展示

支持远程电源管理关机、重启、恢复出厂设置

支持推送管理编辑事件消息接收地址，与第三方平台关联

事件动态：实时报警动态展示，支持事件抓拍图片、视频的查看和回放

支持人体动作检测过程显示，可在预警视频中可显示人体肢体、躯干动作的线段图形。

支持存储预警视频和预警图片。

每个视频通道可以添加多项分析选项；可设置有效、无效区域；可在画面中设置多个预警区域；区域的形状为可调节的六边形；可设置预警的起止时间和预警规则。

支持每个分析项设置时间段检测，支持单路视频多个分析项同时检测分析。

支持预警触发后的前6秒与后6秒录像存储及查询。

算法中涉及统计人数及时间规则项，均支持按现场需求自定义设置。

1. 1. 算法描述

1.剧烈运动分析：当能检测到两个人面对面双臂互相接触、推搡、拉扯等有明显肢体接触动作时，主机可给出预警提示。

2.求救分析：可通过主机菜单操作设定预警区域，当设定区域中人员双手举起交叉挥舞时，主机可给出预警提示，系统可在3秒内给出响应。

3.倒地分析：可设定预警区域，当设定区域中人员蹲下、趴地、坐地、跪地、平躺等姿势时间超过设定时长，主机可给出预警提示。

4.人员聚集：当设定区域中人员数量超过设定检出人数时，主机可给出预警提示；人数可设置为3人、6人、10人、20人，支持自定义设置。

5.徘徊/滞留分析：当设定区域中人员徘徊或滞留的时间超过设定时长时，可给出预警提示，时长可设置为1分钟、3分钟、5分钟、10分钟。

6.吸烟检测：当设定区域内检测到有人员抽烟时，触发告警提醒。

7.单人独处：当设定区域中只有一个人，独处时间超过了设定时长，主机可给出预警提示，时长可设置为30秒、60秒、120秒、180秒。

8.攀高检测：当设定攀高区域中人员超过了攀高限制区域，主机可给出预警提示。

9.入厕超时检测 当厕所内人员超过了设定的时长没有离开该区域，主机可给出预警提示；时长可设置为1分钟、5分钟、15分钟、30分钟。

10.离岗检测：当值班区人员离开岗位时间超过了设定的时长时，主机可给出预警提示；时长可设置为1分钟、5分钟、15分钟、30分钟。

11.睡岗分析：当值班岗位区域中人员超过了设定的时长阈值后身体静止，主机可给出预警提示；时长阈值可设置为1分钟、5分钟、15分钟和30分钟。

12.缺岗检测：当值班区人员不在岗位时间超过了设定的时长时，可给出预警提示；时长可设置为60分钟、120分钟、180分钟、240分钟。

13.攀爬分析：当设定区域中有人员攀爬动作，主机可通过行为分析给出预警提示；若区域中分析目标为物体，不会给出预警提示。

14.闯入分析：当设定区域中有人员进入该区域时，可给出预警提示；若区域中分析目标为物体，不会给出预警提示。

15.警戒区域分析：当人员进入第一层预警区域时，主机显示弹窗提示，当人员继续进入第二层预警区域时，主机可给出预警提示；若区域中分析目标为物体，不会给出预警提示。

16.静坐分析：当设定区域中人员身体静止时长超过了设定的时间阈值后，主机可给出预警提示。

17.离开分析：当人员离开无效区域进入有效区域时，主机可给出预警提示，系统可在3秒内给出响应。

18.人员密集度识别：当设定识别区域，支持实时识别区域人员数量，超过设定阀值则预警。

1. 校园场景应用

AI智能分析预警系统应用于校园智慧安防项目，主要在天台、走廊、楼道、教室、礼堂和运动场馆、出入口、监控室等部署闯入、攀爬、跌倒、聚众、人员密集度检测和重点岗位检测，提高校园安全保障。

1. 1. 楼顶、护栏
      1. 闯入

当【设定区域】中有人员进入时，即发出闯入告警。

规则设置

设置【闯入区域】、设定时间段。在该时间段内，当系统一旦分析到有人员进入该区域即发出预警信号。为防止学生坠楼，学校可根据情况在各处天台楼顶部署【闯入事件】，可全时间段部署。

1. 1. 1. 攀爬

当人员脚踝出现在【攀爬区域】时触发攀爬告警。

规则设置

攀爬事件部署于天台栏杆、护栏处，划定【攀爬区域】，全时间段预警。

1. 1. 出入口管理

在校园的大门口、主要楼道出入口部署人员密集度、聚众、逆行、滞留、徘徊等检测项，减少学生碰撞，确保师生有序进出，减少意外事件、群体事件，一旦发生紧急事件也可以迅速撤离。

1. 1. 1. 人群密集度

人群密集度识别，也就是人员热力监测。当设定识别区域，支持实时识别区域人员数量，超过设定阀值则预警。

设置规则

设定区域、时间段和人数阈值。部署于校园大门口、主要楼道出入口人群聚集的高峰期，比如上学、放学时间段内，让学生有序进出校门，避免扎堆引发意外。其他时间段可应用【聚众事件】、【滞留事件】等。

1. 1. 1. 聚众

当画面中聚集人数超过系统设置的数量时，则定义为聚众事件。

设置规则

可以自定义时间段、划定区域。在校门口、教学楼楼道的出入口部署【聚众事件】检测项，提前预防群体事件。

1. 1. 1. 徘徊

出入口严禁人员在此区域长时间停留，包括反复来回走动（即徘徊）等，如果超过【设定时间】还未离开该区域，系统会即时报警，确保出入口保持畅通。

设置规则

可以设定告警时间、布防时间段和设定区域。根据现场情况设置告警时间，如在指定区域来回走动超过【设定时间】就告警。

1. 1. 室内场所

在教室、实验室、图书馆、礼堂等室内场所及走廊，部署跌倒、吸烟、攀高等检测项。考试期间可部署物品传递检测。

1. 1. 1. 攀高

当有人爬高到一定高度时，检测到人的头部，即触发【攀高事件】告警。

设置规则

攀高规则需要设置区域，根据实际情况来设置区域，既超出正常活动高度，又不会容易触发报警为最佳，只有攀高的场景才会触发报警。在室内桌椅、窗台等可攀附或可致坠楼、跌倒的地方，设定有效区域，当人爬高到这些区域时，会触发系统预警。

1. 1. 1. 跌倒

当人的头、臀部、脚处于同一平面平行于地面时，触发【跌倒事件】告警。

设置规则

可以设置指定区域或是全地面区域，设定告警时间段。

跌倒事件属于肢体动作识别，当人跌倒在地时，正常情况下如果能立即爬起来，则没有任何问题，如果爬不起来，则有可能出了意外。在教学楼走廊、楼道等容易摔倒的地方，部署跌倒检测。

1. 1. 1. 吸烟

在设定监测区域，当监测区域内有人员吸烟行为时触发告警。

1. 1. 户外区域

在操场、运动场、连廊、楼房转角、花园等户外区域，可以部署求救、跌倒、人员聚集、吸烟等检测项。一般在打架前，会有学生聚集情况，或者其他事件一起触发，在特殊区域联合部署以避免意外及校园欺凌事件发生。

1. 1. 1. 求救

在设定区域中，人员双手举起交叉挥舞时触发【求救事件】告警。

设置规则

设置区域及时间段，建议全时间段及全区域。当人员遇到困难、侵害，或者看到侵害事件发生，对着摄像机举起双手挥手即可发出求救信号。

1. 1. 1. 打架/剧烈运动

在户外禁止学生聚集的地方，如某些墙脚、拐角等教务人员难以巡视到的地方，部署【打架】或【剧烈运动】，当出现2人或以上人员发生肢体接触、剧烈动作，系统会判定为打架行为。系统发出相关预警提示，可有效制止校园欺凌事件进一步发生。

设置规则

可以设定区域、动作。

1. 1. 岗亭、监控室等值班岗位

在关键值班岗位，如出入口保安岗位、监控中心值班岗位等，部署离岗、睡岗、缺岗事件检测，可以加强出入口视频监控、消防通道监管及重点岗位的监督。

1. 1. 1. 睡岗

当检测到人员在 【设定时间】 内持续没有大幅度动作时触发。

设置规则

应用于岗亭、监控室的值班岗位，设置有效区域、触发时间，并可以根据需要设置有效时间段。

1. 1. 1. 缺岗

当所有【缺岗区域】 在【设定时间】内没有检测到人员时触发。

设置规则

在值班岗位区域内，设置有效区域、设定触发时间。用户可以根据需要自定义触发时间。缺岗检测属于骨架特征识别加时间属性的综合识别。和离岗的性质是一样的，只是系统定义的时间更久。

1. 1. 围墙周界
      1. 闯入

当设定区域中有人员进入该区域时，可给出预警提示；若区域中分析目标为物体，不会给出预警提示。

设置规则

围墙外：根据围墙外面的道路人行通道的宽度布防，可设置1-5米宽的警戒区域，当有人进入警戒区域时，系统会立即弹屏预警。显示该摄像机现场实时画面。

围墙内：根据围墙里面的警戒区域的通道宽度，可设置1-10米宽的警戒区域，当有人进入警戒区域时，系统会立即弹屏预警。显示该摄像机现场实时画面。

除周界围墙外，需要严管的特殊区域也可以在晚间/假期时间或其他时间段设置闯入行为。

1. 1. 1. 双警戒线

警戒事件为闯入事件升级版，又叫双重警戒线，当有人从【预警区域】进入到【报警区域】时触发。可应用于周界及重点防范区域。

设置规则

划定预警区域及报警区域。

1. 1. 1. 攀爬

当人员脚踝出现在【攀爬区域】时触发。应用于周界围墙、建筑物外墙、窗、护栏、地铁出入口闸机等场景。攀爬行为以设置一定高度为标准，而闯入、警戒事件以接近围墙水平距离为设置标准。

设置规则

自围墙内侧开始，一直横跨围墙顶，延伸到围墙外侧，画满整个围墙区域，一旦有人攀爬，系统会立即弹屏预警，显示现场实时画面。

同时，围墙也可以和脉冲电子围栏联动。一旦脉冲电子围栏检测到异常报警时，可同步弹屏启动该区域的摄像机拍摄到的实时画面。双保险。