边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南 -- 整体介绍(一)

专栏目录
边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南 – 整体介绍(一)
边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南 – 边缘设备图像识别及部署(二)
边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南 – 推流及公网环境(三)PART1
边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南 – 推流及公网环境(三)PART2
边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南 – 边缘设备和云端通信接口及保护进程(四)
边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南 – 云端系统数据库设计(五)
边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南 – 云端系统录制及历史播放实现(六)

前言

欢迎来到我们的专栏《边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南》!在这个专栏中,我们将带您深入探索如何将边缘计算和WEB端应用相结合,打造智能监控系统,实现对各种行为的实时识别和监测。无论您是想在家庭、办公场所还是公共区域建立智能监控系统,本专栏都将为您提供全面的指导和实用的技巧。让我们一起探索边缘计算技术的无限可能,构建出更加智能、高效的监控系统吧!

本专栏系统完整搭建将用到C++(边缘设备程序)、Python(模型训练、网络通信)、JAVA(系统后端)、VUE3(系统前端)、SQL(数据库)等开发语言。在搭建之前我自己也只会JAVA和SQL,所以完全不用担心语言不会导致无法搭建。所有的算力都由边缘设备提供,所以不需要高性能服务器,成本上也可以得到控制。

项目特点:低成本搭建视频智能识别、边缘计算终端和网页端完全打通自由控制、除常规标注检测外增加了预警和区域检测功能。

申明:本系统完全由博主自己一人搭建,其中使用到的都是开源项目,如:若依、RKNN、zlmediakit等。
PS:国人的开源项目越来越牛了。
在这里插入图片描述

硬件设备及技术选型

硬件设备选型

在设想完成这套系统的时候最初的方案是使用WVP-GB28181来实现设备头设备信息的上传,然后在云端进行图像识别,这个方案在进行初步尝试的时候就被PASS了,整套方案需要高带宽、高性能服务器,导致整体搭建费用非常贵。在无意间和朋友聊天时候知道有树莓派这种微型主机,第一次接触时候着实被惊艳到了,这么小的机器就可以搭载系统稳定运行。于是从微型设备的角度出发,经过多轮的比较验证,最后确定使用香橙PI5进行部署开发。
在这里插入图片描述
香橙PI5是国产的学习开发版,搭载有国产芯片RK3588,可以配合瑞芯微的神经网络推理框架RKNN在NPU上进行推理。在专栏中会专门对这块芯片的使用和编程方法进行描述,这里就不多说了。

系统技术选型

由于个人开发没有那么多时间从零开始搭建系统,在研究过程中找到了若依开源项目,本项目搭建使用的是若依前后端分离版本,这里建议直接使用VUE3版本,VUE2已经停止更新很长时间了。
若依的官网链接:https://ruoyi.vip/
若依的gitee链接:https://gitee.com/y_project/RuoYi-Vue
在这里插入图片描述

流媒体服务器选型

流媒体服务器这个词以前工作中也接触过,但是没有细节的研究,通过这次智能监控系统的搭建在弄明白它的作用和强大之处。
早期开发使用ffmpeg对视频进行解码和编码后来发现稳定性存在问题,后来转用zlmediakit,这是一个国人开发的基于C++高并发流媒体服务器,开放了很多常用的API接口。在和网页端进行通信时使用到了hls和webrtc,这个也会在专栏中专门描述。

zlmediakit的github链接:https://github.com/ZLMediaKit/ZLMediaKit
在这里插入图片描述

项目整体结构

摄像头(NVR) 边缘计算设备 智能监控系统 用户 多路RTSP通信 图像识别及处理 推送识别结果 修改配置信息 返回配置信息 自动配置 图像识别及处理 重新推送识别结果 查看结果 摄像头(NVR) 边缘计算设备 智能监控系统 用户

智能监控系统功能

此处不对若依自身功能进行描述

视频纵览

对用户权限范围内的所有边缘设备自动识别的实时视频进行查看、录制视频信息、展示设备的运行状态。
在这里插入图片描述
在这里插入图片描述

预警信息

边缘设备可以根据配置生成识别的预警视频并上传系统,用户可以在预警信息模块查看到所有的预警视频并播放下载,如果边缘计算设备接入的是NVR设备,可以直接查看预警时间前后的视频信息。
在这里插入图片描述

模型管理

模型的训练是线下完成的,训练完的模型可以上传系统后用来维护设备信息,在设备切换模型后会自动下载模型文件并装载。
在这里插入图片描述

设备管理

设备管理主要是用来维护设备的一些参数信息的,以及设备共享情况。如果用户有设备后可以共享给自己下级单位的用户,这样被共享的用户也可以查看到设备上的识别信息和预警信息。
在这里插入图片描述

摄像头管理

摄像头管理是系统的核心模块,这里面的参数修改会直接影响设备的运行,用户对设备的参数修改也直接在该模块完成。通过这个模块可以查看摄像头或nvr的检测结果视频、原始视频、回放视频等。
在这里插入图片描述

如果你喜欢这篇博客请点赞留言,后续会更新具体的搭建步骤。

  • 51
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
《中信证券-计算机行业“智能网联”系列专题11:人工智能,挑战与机遇.pdf》是一本关于人工智能在计算机行业中所面临的挑战与机遇的专题研究报告。人工智能是目前计算机行业中最为热门的领域之一,具有巨大的发展潜力和广阔的市场前景。 该报告首先介绍了人工智能在计算机行业中的应用现状和发展趋势。人工智能已经成功应用于语音识别、图像识别智能推荐等多个领域,为各行各业带来了巨大的变革。同时,人工智能也面临着一些挑战,如数据安全性、个人隐私保护等方面的问题。 报告还分析了人工智能在计算机行业中的机遇。随着人工智能技术的不断进步和应用场景的不断扩展,计算机行业将迎来新的发展机遇。人工智能将可以进一步提高计算机系统智能化水平,提高工作效率和准确性,提供更好的用户体验。 此外,报告还研究了人工智能在计算机行业中可能面临的挑战。一方面,人工智能技术的不断更新换代会对企业的技术实力和经济实力提出更高的要求;另一方面,人工智能技术的应用还需要克服一些技术难题,如机器学习算法的不稳定性和不可解释性等问题。 综上所述,《中信证券-计算机行业“智能网联”系列专题11:人工智能,挑战与机遇.pdf》是一份对计算机行业中人工智能发展情况的深入研究报告。报告详细介绍了人工智能应用现状、发展趋势以及可能面临的挑战和机遇,对于研究人工智能在计算机行业中的投资价值以及相关企业的发展前景有一定的参考价值。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

橘子的战斗日记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值