模型案例:| 行李检测模型!

导读

2023年以ChatGPT为代表的大语言模型横空出世,它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力,为人工智能技术的发展开辟了新的可能性。同时,人工智能技术正在进入各种应用领域,在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件,与全球创客爱好者共建“模型仓”,通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术!

本期介绍:模型案例:| 行李检测模型!

LeYOLO

在深度神经网络应用中,针对嵌入式和移动AI对象检测应用需求不断增加,目前基于FLOP的高效目标检测计算的神经网络架构不能适应轻量级实时目标检测。

针对嵌入式和移动AI对象检测应用对高效计算的需求,提出了LeYOLO模型,该模型通过优化骨干网络、引入快速金字塔结构网络(FPAN)和解耦网络中网络头(DNiN),显著提高了基于YOLO的目标检测模型的效率。

LeYOLO模型在保持高精度(如COCO val上达到38.2% mAP)的同时,大大降低了计算负载(如与YOLOv9-Tiny相比减少42%的FLOP),实现了高效的计算效率。

LeYOLO模型的特点

· 轻量化:在每次浮点运算(FLOP)的准确率方面,LeYOLO与当前最先进的轻量级目标检测神经网络相比,在0.5到8 FLOP(G)范围内实现了最佳准确率;

· 可扩展性:LeYOLO为工业、边缘计算和嵌入式设备提供了一种新的机会,即使用具有最先进扩展效率的轻量级YOLO模型;

· 多种选项:尽管研究侧重于找出精度与计算成本的最佳比例选项,但作者通过研究所有不同选项后提出了不同的替代方案;

· 新架构:LeYOLO模型提出了新的计算高效块,并通过实验进行了验证;

· 高可复现性:研究优先关注改进深度神经网络的架构。使用来自ultralytics API的可重用训练方法来实现结果,state-of-the-art。

LeYOLO提出的架构FPAN和DNiN采用诸如逐点卷积和深度卷积等轻量级操作,构建了一个专门用于目标检测的高效神经网络,其轻量级程度与基于SDDLite的解决方案相当。这在成本-精度比方面开创了新局面。

· 通过构建这些优化,实现了更高效的YOLO缩放,并提出了一系列新的YOLO模型,这些模型在MSCOCO上实现了具有竞争力的mAP分数,同时专注于一系列FLOP资源约束。

行李检测模型

该 AI 模型利用先进的 Swift yolo 算法,专注于行李识别,可以在实时视频流中准确检测和标记行李。它特别适用于 Seeed Studio Grove Vision AI (V2) 设备。

应用场景

机场安检:通过图像识别技术,系统可以自动识别行李和其中可能存在的违禁物品,提升安检效率,确保乘客安全。

行李跟踪:在航空公司和物流中心,通过识别行李标签和行李本身的特征,实时跟踪行李在运输过程中的状态,减少丢失和误送概率。

行李领用:在行李提取区域,通过智能摄像头识别旅客的行李,自动匹配到旅客信息,加快行李领取流程。

自动化仓库管理:在物流和仓储行业,通过行李识别算法,优化仓库管理,实现自动化存取和管理,提高效率。

安防监控:在大型公共场所,如车站、商场等,通过行李识别系统,实时监控可疑行李,协助安保人员进行快速响应。

智能客服和导览:在机场或火车站,利用行李识别系统提供个性化服务,如行李寻回、导航等。

物联网(IoT)应用:结合物联网设备,实现智能行李管理,通过识别算法提升行李互动和数据收集能力。

在Grove - Vision AI V2模块上部署此模型

  1. 打开SenseCraft AI平台,如果第一次使用请先注册一个会员账号,还可以设置语言为中文。

平台地址:https://sensecraft.seeed.cc/ai/#/model

2、在公共AI模型第6列表中找到【行李检测】模型,单击此模型图片,如下图所示。

3、进入【行李检测】模型介绍页面,单击“部署模型”按钮,如下图所示。

  1. 进入部署“行李检测”模型页面,按提示步骤先连接摄像头,再连接设备到电脑USB接口上,最后单击【连接设备】按钮,如下图所示。

5、弹出部署模型窗口,单击“确定”按钮,如下图所示。

6、弹出连接到串行端口窗口,选择端口号后单击“连接”按钮,如下图所示。

7、开始进行模型部署、固件下载、设备重启等过程,完后在预览中即可看到当前摄像头视频内容,在“设置”中调整置信率数值可以提供识别率,将摄像头对准行李相关的图片查看预测效果,如下图所示。

模型推理演示

行李检测报警装置

硬件清单

通过IIC接口将XIAOESP32C3和Grove AI视觉模块V2连接到一起,将蜂鸣器连接到XIAO开发板的D0接口上,上传预测程序后当检测到行李并且置信率大于60,开启蜂鸣器报警,这样就可以设计一个识别行李后并报警的智能装置。下面视频预览如下:

行李检测报警装置

嵌入式神经网络处理器(NPU)

嵌入式神经网络处理器(NPU)是一种特别设计用于执行神经网络计算的高效率处理器。它主要基于数据驱动并行计算架构,特别擅长处理视频、图像等大量的多媒体数据。NPU模仿了生物神经网络的架构,与CPU、GPU相比,它能够通过更少的指令(一条或几条)完成神经元的处理,因此在深度学习的处理效率方面具有明显优势。

Grove Al视觉模块 V2套装介绍

Grove Al视觉模块 V2

OV5647-62摄像头

Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器和Arm Ethos-U55嵌入式神经网络加速单元(NPU), 该处理器采用 ArmCortex-M55双核架构。

它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。

有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。

主要硬件配置

- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构

- 配备集成Arm Ethos-U55嵌入式神经网络加速单元(NPU), 兼容的树莓派相机

- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发

- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。

- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

写在最后

SenseCraft-AI平台的模型仓数量还很少,但是好消息是它支持自定义模型上传并输出推理结果,平台会逐渐增加模型仓的数量,敬请关注!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值