模型案例：| 手势识别猜拳游戏装置！

导读

2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领域，在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件，与全球创客爱好者共建“模型仓”，通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术！

本期介绍：模型案例：| 手势识别猜拳游戏装置！

COCO数据集

MS COCO的全称是Microsoft Common Objects in Context，起源于微软于2014年出资标注的Microsoft COCO数据集，与ImageNet竞赛一样，被视为是计算机视觉领域最受关注和最权威的比赛之一。

COCO数据集是一个大型的、丰富的物体检测，分割和字幕数据集。这个数据集以scene understanding为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的segmentation进行位置的标定。它的特点包括：

• 对象分割
• 上下文中的识别
• 超像素内容分割
• 图像包括91类目标，
• 328,000影像和2,500,000个label。

目前为止有语义分割的最大数据集，提供的类别有80 类，有超过33 万张图片，其中20 万张有标注，整个数据集中个体的数目超过150 万个。

COCO数据集的下载

官网地址：http://cocodataset.org/#download

石头、剪刀、布手势识别模型

Gesture Detection（手势识别）

该模型是在手势检测数据集上训练的Swift YOLO模型，可以识别石头、剪刀、布的手势识别算法。

手势识别应用场景

教育：在在线教育平台中，教师可以通过手势识别技术实现对课件的远程控制，提高教学效果。

医疗：医生可以使用手势识别技术进行手术模拟训练，提高手术技能。

游戏：在虚拟现实 （VR） 和增强现实 （AR） 游戏中，玩家可以通过手势识别技术更自然地进行交互。

无障碍协助：手势识别技术可以为听障人士提供更便捷的交流方式。

原型设计 - 手势识别猜拳游戏装置

柴火创客一直致力于将先进技术带到社区，通过社区伙伴或高校创新训练营等形式传授新的知识，新的技术、新的理念。

本期介绍河北师范大学柴火校园大使刘重隆同学，设计制作的手势识别猜拳游戏装置。

硬件清单：

- XIAO ESP32S3开发板焊接针脚并安装到XIAO扩展板的扩展接口上，

- Grove Al视觉模块 V2 和扩展板的IIC接口连接

- 9g舵机连接到舵机专用的连接针脚上，连接时注意针脚标识。

在Grove Al视觉模块 V2上部署模型

1、打开SenseCraft AI网站

2、连接到 CSI 接口摄像头，给Grove Vision AI V2 连接CSI接口摄像头，注意方向不能插反，如下图所示。然后用数据线将Grove Vision AI V2连接到电脑的USB接口上即可。

3、打开SenseCraft模型助手网站，在设备中选择“Grove Vision AI V2”再单击右上角的“连接”按钮，弹出串口连接窗口后点击“连接”按钮，如下图所示。

4、当“连接”变成红色的“断开连接”按钮时，表示连接成功了，如下图所示。

5、在“可用的AI模型”列表中往下拉动找到“Gesture Detection”，并单击此模型然后在点击右上角的“发送”按钮，如下图所示。

6、等待一段时间的下载和烧录固件的过程，完成后将打开右侧的预览窗口，现在就可以将Grove Vision AI V2的摄像头对准人手做猜拳动作测试，如下图所示。

原型设计 -组装猜拳游戏装置

1、先找一个小快递盒子，在背面挖两个方口，一个底部放舵机另一个在顶部是摄像头的穿线口，如下图所示。

2、接着，在快递盒子内部，将XIAOESP32S3开发板、舵机、Grove Vision AI V2模型都连接到扩展板上，并将其扩展板安装到盒子的左上角，并在盒子背部挖一个能显示Oled显示屏大小的方口，最后，将其固定到盒子内部如下图所示。

3、在纸盒子的背面贴上猜拳游戏的图案，舵机上粘贴上指针指示器（注意：要先将舵机调到90度并让指示器设置为朝上指示的位置），这样就将猜拳游戏装置组装完成。

Grove Al视觉模块 V2套装介绍

Grove Al视觉模块 V2套装

Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器, 该处理器采用 ArmCortex-M55双核架构。

它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。

它非常适用于各种嵌入式视觉项目。有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。

它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。

AI装置作者介绍（柴火创客校园大使）

刘重隆

河北师范大学-职业技术学院

专业：电气工程及其自动化

河北师范大学22级本科在读，共青团员，曾获1次校级奖学金，对arduino、C语言、python、PLC电路设计以及单片机C51C52软件编程，有较强的创新能力。

展望未来，我将不断学习进步，致力于将所学知识应用于实际问题的解决中，以科技创新为社会生产注入新动力，贡献我的力量。我坚信，通过不断对技术创新努力和探索，我能够在科技领域取得更多突破，并为社会进步做出更大的贡献。

写在最后

SenseCraft-AI平台的模型仓数量还很少，但是好消息是它支持自定义模型上传并输出推理结果，平台会逐渐增加模型仓的数量和分享有爱好者设计的模型仓原型，敬请关注！