基YOLOV5实现的AI智能盒子

2021-2023是沉淀的几年，经济不景气，各行各业都不太好混，所以这几年也没有太多心思花在csdn上为各大网友写一些技术文章，2024年初，也算是给自己留下一点岁月的足迹吧，所以把这段时间精心研究的东西写出来供大家交流，顺带也看看是否有机会遇到能帮助到其他技术公司或朋友，在交流中实现双赢，有需要的朋友可以威信(幺捌零叁捌捌伍陆柒零贰，威信与电画同号)，具体合作方式具体交流。

首先看一下AI盒子的效果（安全帽检测预警、语音播报）

AI智能分析预警盒子

开发背景

从事安防多年，但基本都是从事音视频的编解码工作，很少处理图形图像相关算法，原因如下：
（1）图形图像相关算法如车牌识别识别、人脸识别等如果是自己研发，涉及到高等数学等及图形图像处理等高深的支持，开发难度较大；
（2）前n年基本没有开源的、简易的不需要熟悉底层算法的AI识别框架，很难将生活中涉及的AI识别或机器学习的相关算法变成现实；
主要基于以上两点，导致AI相关的算法落地很难、实现很难、应用更难！

然后，基于百度paddle和yolo的开源框架出现了，这使得AI识别难度大大下降，应用门槛大大降低，然而paddle则是面向服务器，对硬件要求较高，部署也相对复杂，很难将普遍应用到生活中，所以经过多番调研yolo则是我们最好的选择。
选择yolo有如下优势
（1）开源且识别效率非常高，仅需一次识别即可完成所有对象的分类识别。
（2）可以应用到服务器中，也可以应用到小型硬件中，本文部署的硬件就支持windows/ubun,支持jetson nano、jetson orin nano等3款中高低档硬件（约5000元、3000元、1000元）
（3）开源技术论坛和资料较多
（4）支持使用python，支持跨平台部署（一套代码，多套环境部署）

在安防领域，基于音视频的基础操作已经基本上没有任何难度（看视频、直播、录像等），但基于音视频的AI应用却很难，但随着技术的成熟，这些应用也变得越来越多，结合生活实际需求的场景就有很多，例如
（1）非法闯入：夜间无人值守或重要地点进出监控
（2）摔倒检测：关爱老人，老人摔倒检测或打架斗殴跌倒检测，可用于社区、监狱、广场、学校等场所。
（3）明火识别：严禁烟火的第三方识别火焰，防止火宅，可用于森林、车间、化工产等场所。
（4）烟雾排放：同明火场景。
（5）越界检测：越过指定边界，产生报警，一般用于行人识别与闯入检测，结合视频区域检测。可用于无人值守场景。
（6）睡岗检测：工作期间睡觉检测，避免安全事故发生。
（7）离岗检测：工作期间离开岗位检测，避免安全事故发生。
（8）人群聚众：检测人员聚集，避免打群架、避免踩踏事件发生。
（9）攀高检测：检测人员是否进行攀爬，避免安全事故发生。
（10）打架斗殴：检测人员是否打架，可用于学校、公共场所。
（11）人脸抓拍：人脸数据抓拍，可推送给人脸识别服务进行1&1识别及陌生人识别。
（12）遮挡检测：检测摄像机是否被人为遮挡或被损坏。协调运维人员进行维护。
（13）垃圾满溢：检测垃圾桶垃圾是否满溢，协助环卫人员智能调度环卫车辆，节省人力和物力。
（14）占道经营：检测是否有占用道路非法经营，协助城管管理，减轻工作量。
（15）安全帽识别：工地安全帽识别，提高工地安全。
（16）反光衣识别：工地反光衣识别，防止非工作人员闯入工地区域。
（17）电动车进电梯：检测电动车进出电梯，防止火灾发生。
（18）口罩检测：明厨亮灶，检测食品从业人员是否佩戴口罩。
（19）虫害识别：智慧农业，通过AI识别虫害，智能指导农户作业。
（20）动物识别：公共场所，不允许动物进出场所。
（21）电梯超员检测：电梯人员是否超载工作。
（22）河边垂钓检测：严禁垂钓河边检测人员是否有钓鱼或捕鱼行为。
（23）河边游泳检测：严禁游泳河边检测人员是否有下水游泳行为。
（24）人数统计：人数统计或客流统计，通过AI方式统计绘制市场的客流热力图。
（25）抽烟检测：明厨亮灶，检测从业人员是否有吸烟行为。
（25）泥头车识别：街道泥头车随意、掉土的事件。
（27）打电话识别：检测开车是否有打电话行为。
（28）机动车/非机动车识别：机动车和非机动车识别。
（29）车流量统计：识别车辆及统计车流量
以上是我总结的贴近生活，很有可能在生活中非常实用的场景，这些算法都是可以通过数据采集进行一一训练的。

为了展示部分效果，这里我训练了一些基本的AI模型：摔倒检测、火焰检测、吸烟检测、口罩检测、持刀检测、拨打电话、打架斗殴等算法，展示效果如下

AI基本模型演示效果

开发环境：pycharm
开发语言：python、vue2.0、pytorch、vision
部署环境：
（1）windows-conda、jetson-nano：conda（低配）、
（2）jetson orin nano：python、cuda、cudnn（sdk）（中高配）
（3）orange PI（正在适配中）
硬件选型：
（1）低配jetson naco（b01替换版本），ubuntu，价格1312元（含外壳），0.5tops，分析实时视频约4路；一张图约200ms~300ms耗时；
（2）中配jetson orin nano，ubuntu，价格3200元上下，20tops，分析实时视频约8路；一张图约100ms耗时；
（3）高配jetson orin nano，Ubuntu，价格在5200元上下，70-100tops，分析实时视频约16路；一张图约30ms耗时；
（4）国产华为芯片orange PI，4G，16核心，价格在1000元左右，分析视频预估在16路；（正在适配中，硬件一片难求）

产品效果

为此，我开发了一个AI盒子框架，这个框架可以动态添加训练好的模型、动态添加需要分析的网络摄像机、动态为每一路摄像机添加不同的分析场景（算法）、动态配置AI盒子参数、动态重启AI盒子等功能；
AI盒子提供了

（1）登录AI盒子
AI盒子登录页面提供用户名和密码模式登录，登录后可以修改初始密码。

为适配不同的地方需求，AI盒子最新版本，支持中文简体版本、英文版本和中文繁体版本。

（2）系统首页
AI盒子主要提供设备管理、报警管理、录像管理、模型配置以及系统设置功能。

（3）设备管理
可以动态添加需要分析的设备，此处的设备为网络设备，AI盒子通过设备的rtsp标准协议从摄像机获取视频流，然后进行抽帧分析，抽帧间隔可以动态进行配置。

可以控制设备进行AI抽帧的分析时间段控制，如早上08:00开始分析，到晚上23:00截止。
可以配置设备分析的区域，区域支持多边形绘制（区域入侵）、绘制边界线段（周界检测）

（4）场景管理
一个设备抽帧的图片，可以做不同场景的算法分析，例如一个摄像机可以同时分析明火烟雾检测、攀爬检测，也可以分析更多的算法（当然，算法越多，耗时就增加，不过对于在1-3秒内能实时响应就已经是非常适用了，可以忽略）

（5）报警管理
当分析场景检测到超过设定置信度的预警时，会存储到AI盒子中，AI盒子会将报警异步推送到配置的第三方平台中，可以在AI盒子中保存n天

如果AI盒子打开报警录像功能，AI盒子会自动录取事件发生的前3秒以及后3秒，总共6秒录像，这些录像也会被推送给第三方平台

（6）录像管理
此外AI盒子支持视频转发（rtmp）、手动抓拍、远程录像功能，录像后可以存储在AI盒子，当推送给第三方平台后会自动从本地移除

（7）模型管理
AI盒子提供模型载入、识别、上报等完整框架，并不固化整个流程，所以对AI盒子而已，算法、设备、场景都是灵活可以配置的，支持动态的模型添加功能，我们可以将训练好的模型动态添加到AI盒子中

模型可以包括所有分析，哪些是属于正常的（不会报警的）,哪些属于异常的（显示红框，可能要报警的）

（8）系统配置
AI盒子支持系统配置，配置项目包括AI盒子编码（推送到第三方，区别多个盒子）、报警保存天数、并发分析数量控制、识别后是否显示标签、是否支持报警联动录像、是否凌晨自动重启、报警第三方平台介绍地址、长连接控制地址。

（9）GPIO及modbus联动
此外，AI盒子支持自身引脚联动或t通过外接modbus协议进行对接，以下为AI盒子定制的一个仓库物料领取场景：
A、人通过人脸机刷脸开门进入物料仓库（人脸机器联动门磁）
B、门禁从常开（1状态）变为断点开门状态（0），AI盒子检测到人员进入，开始联动摄像机进行录像；
C、人员进入仓库后领取物料，拿去完成之后将物料放置到物料台，然后按墙壁上的拍照IO开关；
D、AI盒子检测到AI开关后，联动摄像机视频进行物料实物抓拍，可以抓图多张；
E、人员拍照后拿取物料并离开物料仓库，门磁从开门（0）状态恢复为常闭状态（0）；
F、AI盒子检测到关门信号，停止联动录像，并将从门禁到出门的录像+物料拍照打包存储并发送给第三方平台；
这样，一个人从进门领取物料开始录像==>物料拍照==>停止录像整个过程留影留像，保留了整个过程的证据。如果是非法闯入则自动通过AI预警进行报警录像，产生非法闯入预警，如果正常人脸刷脸进入则不会产生非法报警。

源码预览

（1）服务启动

"""===========导入安装的python库==========="""
import sys
from pathlib import Path

from box.box import Box
from utils.general import check_requirements

# 获取当前文件路径
FILE = Path(__file__).resolve()
# 获取当前文件父目录-YOLOv5根目录
ROOT = FILE.parents[0]
# 获取绝对路径
PARENT = ROOT
# 将根目录添加到系统path中
if str(ROOT) not in sys.path:
    sys.path.append(str(ROOT))

# 程序启动入口
if __name__ == '__main__':
    # 检查请求参数
    check_requirements(ROOT / 'requirements.txt', exclude=('tensorboard', 'thop'))
    # 创建AI盒子
    box = Box()
    # 初始化盒子
    box.init()
    # 启动AI盒子
    box.start()
    # 等待盒子退出
    box.join()
    # 停止AI盒子
    box.stop()

（2）websocket协议

# 报警推送实现
class SocketService(threading.Thread):
    # 构造函数
    def __init__(self):
        # 重写父类方法
        threading.Thread.__init__(self)
        # 套接口
        self.ws = None
        self.connected = False
        self.do_run = True
        # 数据接收
        self.msg_thread = None
        # 视频数量
        self.count = 0
        # 视频回调
        self.video_back = None
        pass

    # 停止服务
    def stop(self):
        self.do_run = False
        # 关闭套接口
        if self.ws is not None:
            self.ws.close()
        # 等待接收退出
        if self.msg_thread is not None:
            if self.msg_thread.is_alive():
                self.msg_thread.join()
        pass

    # 设置命令回调
    def set_video_back(self, call):
        self.video_back = call

    # 响应结果
    def send_result(self, url, cmdId, state, desc, data=None, file_path=None):
        try:
            if url is None or cmdId is None:
                return
            # 请求字典
            dict_info = {}
            # 追加文件
            if file_path is not None:
                # 读取文件内容
                file = open(file_path, "rb")
                name = os.path.basename(file_path)
                dict_info['file'] = (name, file, 'application/octet-stream')
            # 追加数据
            if data is not None:
                dict_info['data'] = data
            # multipart编码
            encoder = MultipartEncoder(
                fields=dict_info
            )
            # 请求头部
            headers = {'Content-Type': encoder.content_type}
            # 发送到第三方
            result_url = (url + "?boxId=" + SystemConfig.ID + "&cmdId=" + cmdId +
                          "&state=" + str(state) + "&desc=" + desc)
            response = requests.post(result_url, json=data, headers=headers)
            if response.status_code != 200:
                return False
            # 处理返回结果
            result = response.json()
            # 处理返回结果
            if result['error'] != 0:
                error = result['error']
                LOGGER.error(f'upload box {SystemConfig.ID} command result failed, reason: {error}')
                return False
            # 返回成功结果
            return True
        except Exception as e:
            LOGGER.error(f'upload alarm error {e}')
        pass

    # 报警推送
    def run(self) -> None:
        # 开始时间
        last_time = datetime.datetime.now()
        while not Global.restart and self.do_run:
            try:
                # 查询通信地址
                result_url = SystemConfig.ALARM_URL
                if SystemConfig.ALARM_URL is not None:
                    if not result_url.endswith("/"):
                        result_url += "/"
                    result_url += "result"
                # 系统重启
                if Global.restart:
                    break
                # 连接服务器
                if not self.connected:
                    if SystemConfig.SOCKET_URL is None or SystemConfig.SOCKET_URL == '':
                        time.sleep(1)
                        continue
                    try:
                        # 连接服务
                        self.ws = create_connection(SystemConfig.SOCKET_URL)
                        self.connected = self.ws.connected
                        # 连接成功
                        if self.ws.connected:
                            LOGGER.info(f'@connect websocket success: {SystemConfig.SOCKET_URL}')
                            # 连接信息
                            box = {
                                'id': SystemConfig.ID,
                                'ip': Global.ip,
                                'port': Global.port,
                                'cmd': 'connect'
                            }
                            # 发送连接
                            self.ws.send(json.dumps(box))
                            # 更新心跳时间
                            last_time = datetime.datetime.now()
                            # 同步盒子数据
                            self.sync_server_data()
                            pass
                    except Exception as e2:
                        LOGGER.error(f'websocket connect error:{e2}')
                        self.connected = False
                        pass
                    # 链接失败等待
                    if not self.connected:
                        time.sleep(3)
                        continue

（3）系统配置

# 系统全局配置
import uuid

from box.util import SystemUtil


# 全局配置
class Global:
    # 数据库配置
    dbIp = '127.0.0.1'
    dbPort = 3306
    dbUser = 'root'
    dbPwd = 'root'
    dbName = 'box3'
    # web配置
    ip = '127.0.0.1'
    port = 5700
    # 系统重启标志
    restart = False
    # 启用串口信号读取
    enableIO = False
    # linux-设备名
    LUX_IO_NAME = '/dev/ttyCH341USB0'
    # win-设备名
    WIN_IO_NAME = 'COM13'

    # 初始化
    def __init__(self):
        pass

    # 获取本机ip
    @staticmethod
    def local_ip():
        try:
            if Global.ip == '127.0.0.1':
                Global.ip = SystemUtil.get_local_ip()
        except Exception as e:
            print(f'get local ip error {e}')


# 系统配置
class SystemConfig:
    # 盒子当前编码
    ID = str(uuid.uuid1()).replace("-", "")
    # 系统登录账号
    ADMIN = 'admin'
    # 系统账号密码
    PASSWORD = 'dd123456'
    # 系统并发分析数
    PATROL_NUM = 4
    # 报警保存天数
    SAVE_DAYS = 1
    # 是否显示标签
    SHOW_LABEL = 1
    # 是否报警录像
    ALARM_RECORD = 1
    # 是否定时重启
    AUTO_RESTART = 1
    # 报警推送地址
    ALARM_URL = ''
    # 长连接地址
    SOCKET_URL = ''

（4）文件清理

import threading
import os
import time
from threading import Lock

from box.config import Global
from utils.general import LOGGER


# 文件异步清理
class FileClear(threading.Thread):
    # 待清理文件列表
    files = []
    # 全局文件列表锁
    lock = Lock()

    # 构造函数
    def __init__(self):
        # 重写父类方法
        threading.Thread.__init__(self)
        pass

    # 添加清理文件
    @classmethod
    def push(cls, file):
        if file is None:
            return
        cls.lock.acquire()
        try:
            cls.files.append(file)
        except Exception as e:
            LOGGER.warning(f'add clear file error {e}')
        finally:
            cls.lock.release()
        pass

    # 报警推送
    def run(self) -> None:
        # 系统未重启
        while not Global.restart:
            try:
                # 系统重启
                if Global.restart:
                    break
                # 尝试清理
                try:
                    # 获取文件大锁
                    self.lock.acquire()
                    # 当前系统无任务
                    if len(self.files) <= 0:
                        # 释放文件大锁
                        self.lock.release()
                        # 睡眠等待1秒
                        time.sleep(1)
                        continue
                    # 删除所有文件-忽略异常
                    for file in self.files:
                        try:
                            os.remove(file)
                        except Exception as e1:
                            LOGGER.warning(f'{e1}')
                            pass
                        pass
                    # 清空数据
                    self.files.clear()
                    # 释放文件大锁
                    self.lock.release()
                    time.sleep(0.1)
                except Exception as e:
                    # 释放文件大锁
                    self.lock.release()
                    LOGGER.warning(f'clear file error {e}')
                pass
            except Exception as e:
                LOGGER.warning(f'clear file error: {e}')

由于功能较多，此处不在一一赘述，有需要合作的请联系我(威信:幺捌零叁捌捌伍陆柒零贰，威信与电画同号)，咱们在进一步沟通。

功能介绍

AI盒子是基于yolov5框架开发的一套AI识别框架，可以支持多模型、多设备、多场景（算法）识别，支持http协议（同一个局域网）通信、支持websocket协议（不同局域网）通信，支持视频取流识别，支持接口图片AI识别、支持媒体视频转发（视频播放）等功能。
AI盒子是独立的个体，可以单独部署（外接显示器，通过浏览器即可实时查看报警、实时播放报警），AI盒子也可以集成外部平台，通过AI盒子对接接口（包括http协议、websocket协议），将报警及录像等信息推送至第三方平台。

具体功能介绍如下所示
（1）系统配置
可以配置AI盒子的基本配置，包括AI盒子的编码（多个盒子时对接外部使用）、录像及报警保存天数、并发AI分析设备路数、AI预警是否显示预警标签、是否12点自动重启（用不上，异常情况下处理）、第三方报警推送地址、第三方平台信令下发连接地址（服务端下发指令到AI盒子，如模型下发、设备下发、场景下发、设备重启、系统配置等）。这些配置都可以实时配置实时生效，不需要重启。

（2）模型管理
可以通过AI盒子自带的web端管理界面管理AI盒子中的模型，也可以通过AI盒子对接协议管理AI盒子模型，AI提供与模型无关的处理框架，训练的模型分类根据实际填写即可

（3）设备管理
AI盒子主要通过rtsp协议（标准）分析设备视频流（海康、大华等都可以），通过视频流帧采样的方式（采样帧频率可以动态配置）分析对应设备的图片流，并且支持指定时间段内进行分析（如工作时间或下班时间进行AI分析），实现设备动态管理、动态配置，除支持分析视频流之外，当然AI盒子也提供了图片分析接口（可以第三方通过接口投递图片并进行分析）并返回结果

（4）场景管理
AI分析的每一个设备（视频流）都可以配置多个场景，如一个摄像机同时支持火焰识别、安全帽识别、摔倒检测、打架斗殴等多个场景，由于AI盒子是框架，摄像机配置哪些场景都是可以动态灵活配置的。

（5）录像管理
AI具有设备远程录像动能，当AI盒子启动视频转发之后，可以通过websocket接口控制AI盒子进行手动录像，AI会临时存储录像信息在本地，当服务器正常时会自动将录像信息推送给第三方平台，然后清理本地的临时录像。
AI盒子也提供了web管理页面对这些录像进行管理，包括查询、录像播放、录像清理等功能

（6）协议支持
AI盒子支持通过Http协议管理AI盒子配置、模型、设备、场景等（如AI的WEB端），也可以通过websocket协议下发和操作AI盒子，实现与AI和的多协议交互。

Http协议代码案例

# 登录盒子
@app.route("/user/login", methods=["POST"])
def login():
    # 获取用户信息json对象
    user_data = request.json
    #  获取post的form表单账号密码
    username = user_data['username']
    password = user_data['password']
    # 账号密码无效
    if username is None or password is None:
        return jsonify({"error": -1, "description": "账号或密码无效！"})
    # 账号信息校验
    if username != SystemConfig.ADMIN:
        return jsonify({"error": -1, "description": "用户名或密码错误！"})
    # 用户密码校验
    if password != SystemConfig.PASSWORD:
        return jsonify({"error": -1, "description": "用户或密码不正确！"})
    # 用户密码正确
    md5 = get_md5(username + ":" + password)
    # map字典转json
    return jsonify({"error": 0, "description": "success", "value": md5})


# 更新密码
@app.route("/user/setPwd", methods=["PUT"])
def set_pwd():
    # 校验用户令牌
    result = check_token()
    if result['error'] != 0:
        return jsonify({"error": result['error'], "description": result['description']})
    # 获取用户信息
    user_data = request.json
    if user_data['oldPassword'] is None:
        return jsonify({"error": -1, "description": "原密码为空"})
    if user_data['newPassword'] is None:
        return jsonify({"error": -1, "description": "新密码为空"})
    if SystemConfig.PASSWORD != user_data['oldPassword']:
        return jsonify({"error": -1, "description": "原密码不正确"})
    # 更新密码
    SystemConfig.PASSWORD = user_data['newPassword']
    # 更新系统用户
    user_info = {"username": SystemConfig.ADMIN, "password": user_data['newPassword']}
    config_mapper.update('ADMIN', json.dumps(user_info), 1)
    # map字典转json
    return jsonify({"error": 0, "description": "success"})


# 重启盒子
@app.route("/system/reboot", methods=["GET"])
def reboot():
    # 停止web应用服务
    print("reboot box...")
    try:
        # 获取app停止函数
        func = request.environ.get('werkzeug.server.shutdown')
        if func is None:
            raise RuntimeError('Not running with the Werkzeug Server')
        # 停止app服务
        func()
    except Exception as e:
        print(e)
    # 设置为重启标志
    Global.restart = True
    # 等待5秒主程退出
    time.sleep(5)
    # posix:linux nt:windows
    SystemUtil.reboot()
    # 如果机器还未重启先返回成功
    return jsonify({"error": 0, "description": "success"})

websocket协议代码

# 报警推送实现
class SocketService(threading.Thread):
    # 构造函数
    def __init__(self):
        # 重写父类方法
        threading.Thread.__init__(self)
        # 套接口
        self.ws = None
        self.connected = False
        self.do_run = True
        # 数据接收
        self.msg_thread = None
        # 视频数量
        self.count = 0
        # 视频回调
        self.video_back = None
        pass

    # 停止服务
    def stop(self):
        self.do_run = False
        # 关闭套接口
        if self.ws is not None:
            self.ws.close()
        # 等待接收退出
        if self.msg_thread is not None:
            if self.msg_thread.is_alive():
                self.msg_thread.join()
        pass

    # 设置命令回调
    def set_video_back(self, call):
        self.video_back = call

    # 响应结果
    def send_result(self, url, cmdId, state, desc, data=None, file_path=None):
        try:
            if url is None or cmdId is None:
                return
            # 请求字典
            dict_info = {}
            # 追加文件
            if file_path is not None:
                # 读取文件内容
                file = open(file_path, "rb")
                name = os.path.basename(file_path)
                dict_info['file'] = (name, file, 'application/octet-stream')
            # 追加数据
            if data is not None:
                dict_info['data'] = data
            # multipart编码
            encoder = MultipartEncoder(
                fields=dict_info
            )
            # 请求头部
            headers = {'Content-Type': encoder.content_type}
            # 发送到第三方
            result_url = (url + "?boxId=" + SystemConfig.ID + "&cmdId=" + cmdId +
                          "&state=" + str(state) + "&desc=" + desc)
            response = requests.post(result_url, json=data, headers=headers)
            if response.status_code != 200:
                return False
            # 处理返回结果
            result = response.json()
            # 处理返回结果
            if result['error'] != 0:
                error = result['error']
                LOGGER.error(f'upload box {SystemConfig.ID} command result failed, reason: {error}')
                return False
            # 返回成功结果
            return True
        except Exception as e:
            LOGGER.error(f'upload alarm error {e}')
        pass

（7）视频转发
AI盒子具有视频转发功能，如AI盒子一般是最靠近摄像机的硬件（从服务器资源、带宽和延时、效率等多方面考虑），所以AI盒子是可以访问摄像机的，如果平台是云端的或者服务端与AI盒子或摄像机不在同一个局域网，那么这样就很有可能平台无法播放摄像机视频（除非使用海康的平台-ehome协议或萤石云协议播放，或大华的自动注册协议播放），为了能通过AI盒子查看摄像机的视频，AI盒子就集成了这个功能，通过AI盒子就可以将视频转发到rtmp服务器，可以使用srs进行部署，使得视频播放支持rtmp、http-flv、webrtc、hls等协议。

（8）报警预览
AI盒子是独立的个体，我们通过AI盒子的WEB端即可实时查看报警信息，当报警发生时候，AI盒子即可接收到报警信息，如下所示

（9）语音播报
web端支持tts预警语音播报功能，当开启报警预览时，接收到报警后，浏览器端就会播放对应的报警语音，只需要查看一个小音箱即可实现安保语音通知功能。

（10）web管理
AI盒子提供以上所有功能的web端管理功能。

（11）GPIO联动录像
AI盒子可以通过硬件连接的释放实现对AI盒子联动接入的摄像机进行实时录像，也可以进行抓拍，这个场景主要用于仓库物料管理系统的解决方案：
当人员通过人脸机正常刷脸进入仓库时，人脸机联动门磁开门，AI盒子通过APIO信号监测门磁开启联动关联摄像机开始录像；当人员进入仓库后，领取物料，将物料放置到物料台，按IO开关进行实物拍照（可以按多次），AI盒子通过信号监测联动关联摄像机进行抓拍，人员携带物料走出仓库，关闭门禁，AI盒子通过检测停止关联摄像机的联动录像；
当人员通过非人脸方式非法闯入仓库时，AI盒子通过区域入侵、人形识别等算法进行抓拍、录像，并将报警信息实时推送给后台管理员（第三发平台或web端），管理员安排安保人员介入预警事件，保证公司财产安全；

实现场景如下所示

演示视频如下所示

仓库领料系统解决方案

第三方平台进出仓库记录以及录像信息

（12）远程录像
同GPIO联动录像之外，AI盒子 也支持手动远程录像和停止录像功能，接口如下所示

（13）远程抓拍
如图上所示，AI盒子也支持播放视频的同时进行实时抓拍。

（14）报警推送
AI可通过接口将报警推送到第三方平台，如下所示

（15）录像推送
如上所示，推送的报警包含录像信息

（16）区域配置
AI盒子可以配置检测视频范围的某一部分区域，可以配置区域内检测，也可以配置边界检测，当检测物体跨过边界触发报警

（17）文件清理
AI盒子会定期清理报警信息、报警录像信息、联动录像信息等；

（18）资源国际化（多语言支持）
支持简体中文、繁体中文、英文3中语言

（19）报警管理
AI盒子可以管理产生的报警信息、报警录像等信息

以上是AI盒子具备的所有功能，由于盒子由python+vue框架开发，支持ubuntu、windows，支持CPU和 GPU，已经经过jetson nano、jetson orin nx高中低3种型号的适配，欢迎有需要的朋友请来电沟通交流(幺捌零叁捌捌伍陆柒零贰，威信与电画同号)，如果需要实物演示效果，可以提供远程连接或实时视频查看，目前产品已经经过3个版本（轮询版本、实时版本、国际化版本），非常成熟，已经在项目中使用。