模型案例：手势关键点检测模型！

导读

2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领域，在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件，与全球创客爱好者共建“模型仓”，通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术！

本期介绍：模型案例：手势关键点检测模型！

什么是手势关键点检测？

手势关键点检测是指识别和定位手势图像或视频中的关键点，即手部的特定位置，如手指尖、手腕、掌心等。通过检测这些关键点，可以准确地获取手势的姿态和动作，并进行进一步的分析和识别。

手势关键点检测通常涉及以下几个步骤：

1. 图像预处理：对手势图像进行预处理，包括灰度化、滤波、边缘检测等操作，以提高关键点的检测准确性。

2. 手部检测：使用目标检测算法或手部检测器来定位手部在图像中的位置，并提取手部区域。

3. 关键点检测：借助关键点检测算法，如卷积神经网络（CNN）或姿态估计模型，定位手势图像中的关键点。

4. 关键点连接：根据手部的解剖结构和关键点之间的关系，将检测到的关键点连接起来，形成完整的手势姿态。

手势关键点检测模型

人体姿态估计模型

手势关键点检测模型在 Yolov8 上训练，手势关键点检测模型输出的是一组表示手势上的关键点的点，通常每个点都有一个置信度分数。

模型名称： 手势关键点检测

算 法： YOLOV8 由 Ultralytics 提供

类 别： 关键点检测

模型类型： TFLite

许可证： AGPL3.0

描 述： 该模型是在手势关键点检测数据集上训练的YOLOV8模型

手势关键点检测的应用场景

手势识别：手势关键点检测可以用于识别手势动作，如手部姿势、手势手语等。这在人机交互、虚拟现实、增强现实等领域有广泛的应用，例如手势控制电脑、手势交互游戏等。

姿势识别：手势关键点检测可以用于姿势识别，如身体姿势识别、面部表情识别等。这在运动分析、健身辅助、人体动作捕捉等领域有广泛应用，例如运动员训练、人体姿势跟踪等。

动作识别：手势关键点检测可以用于动作识别，如跳舞动作识别、运动动作识别等。这在舞蹈学习、体育训练、健康管理等领域有应用，例如舞蹈教学、运动训练监测等。

在SenseCraft AI上部署模型

1、打开SenseCraft AI

2、连接到 CSI 接口摄像头，给Grove Vision AI V2 连接CSI接口摄像头，注意方向不能插反，如下图所示。然后用数据线将Grove Vision AI V2连接到电脑的USB接口上即可。

3、打开SenseCraft模型助手网站，在设备中选择“Grove Vision AI V2”再单击右上角的“连接”按钮，弹出串口连接窗口后点击“连接”按钮，如下图所示。

4、当“连接”变成红色的“断开连接”按钮时，表示连接成功了，如下图所示。

5、在“可用的AI模型”列表中往下拉动找到“Human Pose Detection”，并单击此模型然后在点击右上角的“发送”按钮，如下图所示。

6、等待一段时间的下载和烧录固件的过程，完成后将打开右侧的预览窗口，现在就可以将Grove Vision AI V2的摄像头对准人手部目标进行测试了，如下图所示。

推理结果演示

Grove Al视觉模块 V2套装介绍

Grove Al视觉模块 V2

OV5647-62摄像头

Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器, 该处理器采用 ArmCortex-M55双核架构。它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。

- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构

- 配备集成Arm Ethos-U55微神经网络加速单元, 兼容的树莓派相机

- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发

- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。

- 支持各种有效的铝模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

原型设计

柴火创客一直致力于将先进技术带到社区，通过社区伙伴或高校创新训练营的形式传授新的知识，新的技术、新的知识。

本期介绍利用XIAO ESP32S3Sense设备，设计的通过识别番茄病态状态来分析番茄好坏的原型装置。

番茄病态分析模型：基于视觉模型而制作的番茄病态识别系统，可以准确且有效地识别番茄的好坏，通过及时摘除患病番茄，从而有效地遏制病虫害的扩散，减少农民的损失。

团队介绍

写在最后

SenseCraft-AI平台的模型仓数量还很少，但是好消息是它支持自定义模型上传并输出推理结果，平台会逐渐增加模型仓的数量，敬请关注！