视频监控平台&&运维部署平台设计

watersink

已于 2025-05-14 19:17:50 修改

阅读量1k

点赞数 6

分类专栏：平台设计文章标签：音视频

于 2025-02-28 19:35:42 首次发布

本文链接：https://blog.csdn.net/qq_14845119/article/details/145936484

版权

平台设计专栏收录该内容

2 篇文章

订阅专栏

这里必须得讲一下，其实我不是一个专业的产品经理，但是这个平台的原型设计集百家之所长，然后融汇了自己的思考，前后修改无数遍，最终成型。爱好由来落笔难，一诗千改心始安。期间查看了精英科技、浪潮、上海星环科技、北京壹合源码、海康、中矿安华、成都电子科大、山西联通、山西科达自控、华为等多个厂家的类似平台。

视频监控平台

概述：

视频监控平台作为现代安防体系的核心枢纽，整合了先进的视频采集、传输、存储与分析技术，构建起全方位、智能化的监控体系，为各行业提供高效、可靠的安全保障及数据支持。

在功能层面，该平台具备强大的视频汇聚能力，可接入多种类型、不同品牌的监控摄像头，无论是高清网络摄像机，还是模拟摄像机，都能实现无缝对接，将分散的视频流统一汇聚管理。同时，凭借高效的视频存储技术，能根据用户需求灵活设置存储策略，确保重要视频数据长期、稳定保存，满足事后回溯查证的需求。在实时监控方面，平台提供流畅、清晰的视频画面展示，支持多画面切换、云台控制等操作，让监控人员对监控区域进行全方位、多角度实时掌控。

AI 算法平台实现对井下关键点位工业视频相机视频的识别与分析，可以管理井上的算力服务器、视频 AI 平台服务器、流媒体节点等设备的管理。系统可以和集控系统进行交互，可观看实时视频、布控视频、占警回放视频、录像视频、实时告警信息，可执行用户管理、算力设备管理、设备告警日志等管理任务，提供人员操作日志、视频告警日志、模型管理日志用于观察系统健康状态等功能,提供告警数据统计报表、设备运行状态报表来查看监控场景是否出现异常。

视频监控平台融合了人工智能技术，实现智能视频分析。例如，具备行为分析功能，可自动识别人员的异常行为，如奔跑、摔倒等，并及时发出警报；还能进行目标检测，准确识别车辆、行人、物体等，极大提高监控效率，减轻人工监控压力。此外，平台采用先进的网络传输技术，确保视频数据在复杂网络环境下的稳定传输，支持远程访问，方便用户随时随地通过电脑、手机等终端设备查看监控画面，实现远程监控管理。

平台架构：

系统接入矿区摄像图像平台，基于人工智能算力平台、人工智能算法库对数据流进行视频推理和分析预警，提供矿端大屏、视频监控、数据看板、系统管理等页面，提供矿山生产过程中的安全隐患实时监测和预警能力。

算力设备管理：

负责推理服务器设备的管理，设备编号、设备名称、设备地址、cpu信息、gpu信息（nvidia、atlas、寒武纪、……）、配置描述、设备ip、用户名、密码、算法部署目录、在线与否。

Plus功能：

负责流媒体服务器设备的管理

功能：

设备增、删、改、查
设备接入，设备编号、设备名称、设备地址、cpu信息、gpu信息（nvidia、atlas、寒武纪、……）、配置描述、设备ip、用户名、密码、算法部署目录、在线与否等基本信息展示。
设备硬件信息展示，包括cpu、内存、磁盘（空间占用率超95%告警）、网络、gpu、显存等。

标准视联：

支持RTSP、RTMP、MJPEG、FLV、GB28181等主流视频协议，按需对音视频进行编解码；提供视频录制、回放和实时视频直播等功能。

1.表模型设计

2.实现

根据表结构生成前后端增删改查代码，页面录入时来源选直连摄像头或者硬盘录像机。

新增之后启动定时心跳任务，暂定30S执行一次，是否在线检测方法需要调研。

主要功能：

摄像头增、删、改、查
摄像头权限与分组管理：支持对摄像头进行分组管理，可按照矿山区域（如井口、采掘面、运输巷道等）、作业类型等维度划分组别。同时，可针对不同的用户角色设置摄像头的访问权限，如仅允许特定人员查看特定区域的摄像头画面，确保监控数据的安全性和保密性。
（摄像头、NVR、虚拟视频流）接入配置（企业名称、直播流名称、状态、预览图、编码格式、来源（摄像头、NVR、虚拟视频流）、跟新时间、视屏、是否在线（手动跟新按钮、前端持续心跳刷新）、创建时间、备注、操作（修改））
实时视频直播、截图
Excel配置文件导入、导出

算法管理：

基于应用场景，用户可以通过平台添加所需算法，并配置算法ID、算法阈值、显示阈算法配置值、算法参数、算法状态等信息。

1.表模型设计

2.实现

需要有一个和运维部署平台的算法列表接口，根据列表选择算法拉取到本地，由前台操作启停按钮，后台直接拉起或者停止。

拉起或者停止方法：从算法启动命令中拼接执行命令，到指定目录执行。

功能：

算法增、删、改、查
算法接入配置（算法编号、算法名称、业务大类编码、业务大类名称、归属企业类型、部署机器ip、创建时间、备注、操作（修改））
从中心端运维平台拉取算法列表功能、拉取具体算法模块（代码、容器、模型）功能
支持本地离线导入算法功能
算法包括基于单张图片类型的、基于视频类型的，思考如何体现。
算法API测试、前端界面要包含默认图片、视频等。

场景配置：

支持是对算法的绘制样式、报警等级进行配置，同时支持对算法底库、人员库进行管理。

支持视频流实时分析、视频流轮巡分析、图片分析等任务类型，支持对分析组合、阈值、检测区域等参数进行配置。

1.表模型设计

2.实现

新增场景时，需要可以在视频中框选位置，然后选择相应的模型，启动模型时传入参数，摄像头的信息场景的信息

场景启动时，后端等待固定时间（可配置）启动录制协程，录制识别后的流（固定时长），保存到本地，流地址为http://localhost:port/demo/摄像头标识/场景标识

场景停止时，后端等待固定时间（可配置）停止录制

功能：

业务场景的增、删、改、查
创建业务场景（任务名称、点位归属、摄像头标识、摄像头名称、算法标识、算法名称、计算终端、场景启停状态、场景启动、场景停止、创建者、更新者、备注、创建时间、更新时间），关联摄像头、算法，实现视频实时识别
创建业务场景时，支持前端支持框选ROI区域（支持方形框、任意不规则框）、删除框选框、抽帧帧率设置
创建业务场景时，支持报警片段设置，要支持2种模式，模式1：比如报警时间点前后10s的短视频（可配置）；模式2：自动化截取报警视频，可以设置视频最长为1min，首次报警前设置比如5s，最后报警后设置比如5s。

解释：由于报警一般都是连续的画面同时出现报警，模式1容易导致截取的视频没有把连续的报警帧全部截进去，属于那种顾头不顾尾的截取。模式2就可以自动化的截取报警片段，解决了模式1的问题，真正形成完整的报警片段。

视频实时识别后，要进行识别视频的实时录制，为后面识别短视频的输出做准备
运行模式设置，支持3种模式（24小时运行、自定义时间段运行、24小时关键帧运行）

Plus功能：

检测目标阈值设置（0-1.0）
检测目标阈最小值（目标宽度*pixel、目标高度*pixel）
生效时长、报警目标出现时长超过*s，系统自动产生告警
间隔时长在*s内，不产生同样报警

实时识别视频展示：

1.实现

从场景配置表查询所有启动的场景展示，支持单屏、4分屏、9分屏等展示，识别后的流URL：http://localhost:port/demo/摄像头标识/场景标识。

功能：

（1）支持全屏、单屏、4分屏、9分屏等展示，视频下方要注明（算法名称、场景名称）

告警管理：

具备识别结果调阅功能，第三方应用基于开放的接口，调阅模型实时识别结果和历史识别结果。支持通过 callback 推送实时报警数据，支持弹窗与语音播报两种网页提醒方式。

1.表模型设计

1.1 实时告警信息

存储放在TDEngine国产数据库，设计一个超级表，表名ai_alert_info，每个场景的数据是一个子表。

超级表字段有

ts为时序库主键，毫秒级的时间标识

alert_info为告警文本信息

alert_flag为告警标识，无告警写0，有告警写1

alert_evidence为识别后存储的minio对象标识（对象存储minio保存的是告警发生时识别的图片）

子表的TAG为场景配置标识

1.2 告警证据数据

监听实时告警信息表后，截取证据视频之后，存储证据数据，表名ai_alert_evidence，每个场景的数据是一个子表

超级表字段有

ts为时序库主键，毫秒级的时间标识

alert_info为告警文本信息

alert_flag为告警标识，无告警写0，有告警写1

alert_evidence_video为合成视频的minio对象标识

子表的TAG为场景配置标识

2.实现

启动的场景输出告警时的告警信息及图片，存入到时序数据库（AI模型识别实现）

后端监听该超级表，监听到有告警数据后，数据库TDEngine中存储的视频流中截取告警时间戳前固定时间的视频，存入到minio中。

然后把ai_alert_info的数据转存ai_alert_evidence，并将存入minio的告警视频标识插入alert_evidence_video字段。

存入成功后根据指定规则将证据视频上传（具体规则待定）。

给前端提供告警查询接口，查询ai_alert_evidence表，并通过tag的场景配置标识关联场景信息，展示摄像头地点算法名称终端类型时间告警信息证据集合（包括小视频和照片）是否上传。

功能：

告警信息的删、查（根据场景名称、摄像头名称、算法名称、报警处理状态、归档状态、报警等级（1-5级）等多维度的查找）
告警图片下方要注明（算法名称、摄像头、场景名称、报警时间、处理状态（未处理、已处理）、归档状态（暂不归档、正确报警、错误报警））
每一个告警图片直接鼠标点击操作，点击后可以展示更全面的信息（算法名称、场景名称、报警时间、告警等级、事件描述、摄像头名称、摄像头ID）
支持宫格试图、表格视图，2种展示模式
支持告警导出功能（根据时间、告警类型、场景名称、摄像头名称、算法名称、报警处理状态、归档状态、报警等级（1-5级）等多维度的导出）
报警弹窗、语音
报警信息统计分析
报警汇总、报警间隔、自动化间隔（按照正常的报警信息，1s可能会有25张报警图片，基于规则对一个时间段的同一个报警进行合并）
异常报警的规则过滤
报警推送，触发报警规则时，系统自动生成报警信息，并通过短信、邮件、APP 推送、声光报警等多种方式通知相关人员。报警信息包含报警类型、发生时间、具体位置、相关视频画面等详细内容，方便接收人员快速了解情况。同时，支持对报警信息进行手动确认、标记已处理等操作，实现报警信息的闭环管理。

BI大屏：

BI大屏用于监控、控制和展示矿区的生产过程、设备状态、安全信息和其他重要数据。主要目的是优化矿山运营，以适应不同矿场的具体需求和环境，提高安全性和效率。

综合展示煤矿企业的接入点位情况，在线情况，煤矿企业的生产情况，报警类型的分布情况，并提供历史报警的快速入口。将各个场景中监控点位情况进行统计展示，不仅展示了监测点在线情况、重点视频监测、摄像头在线统计信息、本月预警事件统计、告警列表、告警统计图、违规行为记录、视频轮询、告警图表统计、人流统计等，还可以直接在二维地图上点击对应点位的进行视频查看。

系统管理：

包括用户管理、权限管理、用户组管理（可以组内添加用户）、日志管理、系统配置（平台名称、logo、语言、主题）、接口授权、接口文档、数据备份与恢复、安全管理、系统升级等功能。

Plus功能：录像文件保留时间设置

升华功能：

要有边缘端视频监控平台、中心端运维部署平台，这2个概念。
平台要支持分布式，机器设备—摄像头—算法，3者之间的对应关系应该是m:n:k的模式。
场景管理中，要有在哪台机器部署算法，这样的集群概念。
场景管理中，要支持单摄像头单算法、单摄像头多算法（分开跑）、单摄像头多算法（一起跑）。
配置信息变动、服务应用热更新。
算法方面，跟踪模型种物体序号递增，导致内存递增，自清理策略。
后端代码全部API化，附加接口文档，以满足不同项目的快速应用。
APP端开发，相关功能包括，告警统计（当天告警已处理、当天告警未处理、30天告警折线图、告警处理状态、告警等级）、最新告警（告警图片、告警视频、和我相关的告警、告警ID、告警时间、算法名称、处理备注）、相机状态（在线视频）、设备告警、布控任务（只能查看，不能实际布控）等。
数据持久化，支持docker+k8s，对于数据库、中间件等的volumes持久化。
集成标注训练部署平台。

核心技术指标:

包括标注数据的指标、模型的指标、平台的指标。

（1）矿山行业数据集具备数据质量高、数据量大、具备完善的标签信息。

数据标注质量：数据集中所有图像或视频片段需真实采集自煤矿井下、井口、洗选车间等实际作业场景。数据标注目标标注框与实际目标边界的平均像素误差不超过 3 个像素；类别标注需严格符合《煤矿安全规程》及行业标准，标注错误率应低于 0.5%。

数据样本量：数据集总样本量不少于 100 万张图像或 1000 小时视频数据，其中训练集、验证集、测试集按 7:1:2 比例划分。

数据均衡性：各目标类别样本数量差异不超过 3 倍，通过数据增强等方式平衡长尾分布问题。

（2）模型具有较高的准确性和召回率。

对于异常行为，如人员违规操作、设备异常运行等，精确性达到80%，召回率达到80%, F1>0.75, MAP@0.5:0.95>45%、平均 I0U≥0.6、精度≥90%。

对于煤矿场景中的人员、设备、车辆等目标，精确性达到85%，召回率达到85%, F1>0.8, MAP@0.5:0.95>50%、平均 I0U≥0.7、精度≥95%。；

对于一些关键目标，如安全帽、安全带的佩戴检测，精确性达到90%，召回率达到90%, F1>0.85, MAP@0.5:0.95>60%、平均 I0U≥0.8、精度≥95%。。

（3）视频采集要求摄像头分辨率不低于 1920×1080 像素，对于关键区域如采煤工作面、井口等，可采用更高分辨率的摄像头，如 4K（3840×2160 像素）甚至 8K 分辨率，以便更准确地监测人员操作、设备运行状态及潜在的安全隐患。为保证视频画面的流畅性，便于实时观察和分析，采集帧率通常应达到 25 帧 / 秒或 30 帧 / 秒以上。

平台应具备足够的视频传输带宽，每路 1080P 视频在 H.265 编码下，码率约为 2 - 4Mbps，4K 视频，码率可能达到 6 - 10Mbps。视频传输延迟应尽可能低，一般要求在 200 - 500 毫秒以内。

平台满足用户友好性、数据安全性、可扩展性、多屏显示支持、远程操作与控制支持等指标。整个视频监控平台的 MTBF 应不低于 10000 小时。