构建AR视频空间大数据平台（物联网及工业互联网、视频、AI场景识别）

目       录

1.      应用背景... 2

2.      系统框架... 2

3.      AI场景识别算法和硬件... 3

4.      AR视频空间管理系统... 5

5.      物联网及工业互联网系统... 5

6.      用户应用终端... 7

7.      应用效果... 9

1.   应用背景

最近有三个项目的技术要求中明确有视频和AI图像场景识别的需求，并且占用了很大的篇幅描述场景需求，即包括硬件也包括软件。物联网、视频AI场景识别、业务应用的整体融合是发展的必然趋势。

第一个项目是钢铁行业的安全双控系统，要求实时识别危险区域的人员安全行为、设备及环境的安全场景。

第二个项目是水务行业的智能化实验室系统，要求对人员进行区域定位、行为识别、试验过程记录等，同时与业务系统进行关联。

第三个项目是航空发动机数据化制造系统，要求进行劳保防护检测、危险动作识别、人脸识别和故障设备定位等，同时与生产过程的质量监控、物流/人流、3D三维建模等进行融合。

现在的项目需求呈现麻雀虽小五脏俱全的趋势，不管项目大小，技术和业务要求涉及到方方面面。

本文主要介绍物联网及工业互联网、视频和AI场景识别构建AR视频空间大数据平台的简要方案。有技术、有产品、有方案。

视频介绍：公众号视频

2.   系统框架

AR视频空间大数据平台由四层组成：传感器层、边缘计算、应用工具平台层、应用业务层。整体框架，如下图：

3.   AI场景识别算法和硬件

智能视频监控系统整体建设方案以智能推理平台为主，从数据采集终端获取数据，通过网线网络传输到数据采集控制中心再通过网络网线将数据推送至智能推理平台中，搭配人工智能的软硬件处理，最后以获取到数据的分析结果进行警报响应。支持的算法，如下列表：

1	安全帽检测	可对作业区域的人员进行自动识别，若检测到人员未佩戴安全帽，立即报警。
2	工作服检测	可对进入作业区域的人员进行自动识别，若检测到人员未穿着工作服，立即报警。
3	反光衣检测	可对进入作业区域的人员进行自动识别，若检测到人员未穿着反光衣，立即报警。。
4	禁区闯入检测（区域入侵）	可对进入作业区域的人员进行自动识别，若检测到人员，立即报警。
5	皮肤裸露检测	可对进入作业区域的人员进行自动识别，若检测到皮肤裸露，立即报警。
6	烟火检测	可对作业区域内的烟雾、火焰进行自动识别，若检测到烟雾火焰，立即报警。
7	抽烟检测	可对进入作业区域的人员进行自动识别，若检测到人员有抽烟，立即报警。
8	打电话检测	可对进入作业区域的人员进行自动识别，若检测到人员有打电话的动作，立即报警。
9	室外漏油检测	可对监控区域内设备漏油漏液进行自动识别，若检测到设备有漏油漏液，立即报警。
10	室内漏油检测	可对监控区域内设备漏油漏液进行自动识别，若检测到设备有漏油漏液，立即报警。
11	摔倒检测	可对进入作业区域的人员进行自动识别，若检测到人员有摔倒，立即报警。
12	人员离岗检测	可对作业区域的人员进行自动识别，若未检测人员，且超过离岗时间，立即报警。
13	睡岗检测	可对监控区域的人员进行自动识别，若检测到人员有趴桌睡觉，立即报警。
14	翻越围栏	可对进入围栏区域的人员进行自动识别，若检测到人员，立即报警。
15	人员聚集	可对监控区域的人员进行自动识别，若检测到人员数量超过限值，立即报警。

基于数据流架构的加速芯片，针对深度学习算法推断功能的计算加速芯片，运行不依赖任何指令集，从而避免了传统处理器中因取指令及指令译码等带来的芯片运算性能损失。

芯片可以部署在AI边缘计算盒子、AI智能计算主机和AI智能计算服务器上。硬件如下图：

  硬件内部嵌入系统管理系统，主要负责统计数据及视频预览页面，对当前信息进行集成化展示，便于管理人员方便查看和管理，主要功能包括：控制台、基础服务、算法调度、开放能力和系统管理。如下图：

4.   AR视频空间管理系统

视频摄像头和边缘场景识别计算节点可以接入AR视频空间管理系统，同时AR视频空间管理系统与物联网及工业互联网系统进行视频和结构化数据交互，管理系统配置好后，用户应用终端可以直接操作使用。

管理系统提供的功能包括：资源管理、存储管理、标签管理、预案管理、系统接口、国标级联、平台级联、电子地图、应用链接、人员信息、权限管理和系统配置。管理系统如下图：

5.   物联网及工业互联网系统

物联网及工业互联网系统主要功能包括：设备驱动、服务驱动、设备模型、业务模型、计算平台、数据查询、数据转发、视图建模、机器学习、视频服务、消息管理、流程控制、控制日志、用户权限、实时日志和算法分析。

（1）设备驱动，支持物联网设备驱动的二次开发和设备驱动上传、编辑和删除等管理。

（2）服务驱动，支持物联网服务（算法、数据统计、业务应用等）驱动的二次开发和服务驱动上传、编辑和删除等管理，主要面向复杂数据处理、分析等应用场景。

（3）设备模型，以物理世界构建物联网映射到系统，支持设备驱动和服务驱动的配置、管理和运行，包括设备信息、数据点、计算预警等。

（4）业务模型，支持根据业务重构设备及数据逻辑关系，支持构建复杂业务模型。

（5）计算平台，支持数学运算符和函数对数据点进行复杂的计算，支持创建多个计算任务，支持逻辑规划推理，并对结果进行消息推送。

（6）数据查询，支持以图型和列表的形式查询数据，支持图型和列表数据的导出。

（7）数据转发，可以选择自定义数据点，把数据点通过网络转发到其他系统中。

（8）视图建模，物理硬件数据建模与实时展示的问题，对现实场景进行抽象视图快速构建，支持2D/3D视图建模，绑定和展示接入设备实时数据。

（9）机器学习，数据深度挖掘的问题，对设备接入的数据进行过滤、补数、工况标记、选择机器学习算法，自动训练模型和工况预测。现在支持决策树和聚类算法，也可以自定义算法，满足物联网数据的模型训练和模型预测。

（10）视频转换，提供了在线实时视频流转换服务，把rtsp协议转换成rtmp协议或websocket协议，满足低延时实时在组态上显示视频流的需求。工业场景矢量园元、图表和视频可以集成到一个组态页面上展示。

（11）消息管理，支持预警和系统消息查询。

（12）流程控制，联动控制平台支持在线开发业务脚本，支持多个生产过程联动控制任务， 脚本引擎支持6个内置函数：控制命令（ctrl）、控制延迟（delay）、控制启动（start）、控制停止（stop）、最新数值（getvalue）和打印日志（log）。

（13）控制日志，可以查询手动和自动控制操作过程记录信息。

（14）用户权限，增加、编辑和删除用户，权限有：工具权限、应用权限和数据点权限。

（15）实时日志，可以实时查看后台服务运行和调试过程。

（16）算法分析，对当前数据点进行数据的基本汇总统计：数据量、均值、最大值和最小值等。现在的算法分析平台包括：快速傅里叶变换、包络分析、倒频谱和自相关等。

应用界面如下图：

6.   用户应用终端

用户应用终端功能相关的配置信息说明：

1)   地图入口屏：在Web后台管理系统的服务管理和地图配置中配置

2)   预览通道：在Web后台管理系统中资源管理中的导入设备信息和通道信息

3)   报警：在Web后台管理系统中的预案管理中配置自动预案信息、在系统对接中添加第三方的报警系统信息、关联对应的抓拍摄像机信息

4)   链接：在Web后台管理的第三方链接中配置需要链接的第三方链接信息

5)   相对位置标签（PT标签）：普通球机需在视场角测试工具中导入设备的视场角模板或手动测试视场角信息

6)   自动标签和手动经纬度标签：Web后台管理系统中添加自动标签规则模板、内容管理平台中关联对应的自动标签规则、内容管理平台中配置图层距离、Web服务、设备的可视域范围、需配置标签服务、MQ服务、一机一档信息、设备的高度、视场角模板信息、设备的经纬度、设备的倍率

7)   POI自动标签：需用POI下载工具下载POI资源、导入到数据库、在Web后台管理系统中添加POI自动标签规则模板、在内容管理平台中添加POI自动标签规则并关联POI资源、配置标签服务、MQ服务

8)   居民信息标签：需要先Web后台管理系统中的住户信息管理中导入房屋、住户信息模板

9)   VR虚拟全景标签：需要先在Web后台管理系统中的设备管理和通道管理中添加VR虚拟设备信息和通道信息

10) 平台级联：需先在Web后台管理系统中的平台级联中添加相关的平台信息

11) 室内3D地图标签：需要先Web后台管理系统中的电子地图中添加3D模型

12) 执法仪、布控球：需先在相关设备端配置对应的连接信息、配置移动网关服务、在Web后台管理系统中的系统对接中的移动设备中添加执法仪、布控球设备和通道信息

13) 录像：配置存储服务、在Web后台管理系统中的存储管理中关联服务器的磁盘信息、相关通道、添加存储计划

14) 国标级联：配置国标服务、流媒体服务、cmms中心服务、设备网关服务、在Web后台管理系统中的国标级联中添加上下级平台信息、同步上下级平台中的通道信息、导入国标数据、更新到国标服务

15) 周边数据看板配置：在Web后台管理系统系统配置中的看板配置中添加相关展示资源信息

16) 地图巡逻：需在Web后台管理系统中的电子地图中的地图巡逻中添加巡逻路线、巡逻车模型的速度、巡逻时的摄像机

17) 警卫路线：需在Web后台管理系统中的电子地图中的警卫路线中添加巡逻路线、车载视频通道、沿途视频通道、巡逻车模型的速度

18) 离线地图：需在Web后台管理系统电子地图中的地图配置修改地图的配置、在Web服务中的cs文件的amap中添加离线地图瓦片

19) 无人机：在Web后台管理系统资源管理中的设备管理和通道管理中添加无人机信息、添加无人机ID、选择无人机的取流方式、添加无人机的取流URL地址

20) 报警柱：在Web后台管理系统资源管理中的设备管理和通道管理页面中添加报警柱设备和通道

21) AR标题logo：在Web后台管理系统的基础信息设置页码上传logo图片

22) 人脸/车辆抓拍记录：在Web后台管理系统的系统对接中添加人脸/车辆抓拍系统并同步抓拍系统中的抓拍摄像机

23) 地图网格：在Web后台管理系统的电子地图中的地图网格页面添加

24) 防护圈：在Web后台管理系统的电子地图中的地图网格页面添加，并启动

主要分为四大部分：全景展示、预案管理、智能报警管理、标签管理。其中，全景展示主要包括：全景视频展示、局部视频展示等模块；预案管理主要包括：预案巡航、自动报警预案等功能；智能报警管理主要包括：报警弹窗、报警记录、报警录像等功能。

登陆应用终端，显示当前接入视频的统计信息和电子地图，如下图：

  单击区域下的摄像头，demo事例应用，如下图：

7.   应用效果

实景智能管理平台是基于物联网、增强现实、智能分析、GIS、大数据与软件集成等多种先进技术，构建的实景式、网格化立体防控系统，实现在统一门户下完成厂区重点区域的安保防控业务。

系统支持将实体生产制造及物流设备的实时数据，将企业的生产过程、设备运行情况、质量跟踪状态各种数据集成展示，完成实体信息、经营管理、生产流程数据的无缝结合，达到信息充分共享，有利于实时监控防范损失、减少开支，提高生产效率, 实现企业车间生产过程的可视化实时监控，为企业打造“智慧型生产工厂”。

---

物联网&大数据技术 QQ群：54256083

物联网&大数据项目 QQ群：727664080