模型案例：垃圾分类识别！

导读

2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领域，在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件，与全球创客爱好者共建“模型仓”，通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术！

本期介绍：模型案例：垃圾分类识别！

什么是TinyML？

在物联网的世界中，最前端的设备是采集各种数据的传感器节点，它们往往体积小巧、电量很小、计算能力有限、对功耗极为敏感。另一方面，先进的机器学习专用设备往往高算力、高功耗且价格昂贵，不易大规模应用。

如果能在价格不高的终端节点上运行机器学习，那么就会激活大量设备。

一个趋势是，人工智能AI正在加快速度从“云端”走向“边缘”，进入到越来越小的物联网设备中。

在终端和边缘侧的微处理器上，实现的机器学习过程，被称为微型机器学习，即TinyML。更准确的说，TinyML是指工程师们在（mW）毫瓦功率范围以下的设备上，实现机器学习的方法、工具和技术。

TinyML是不同技术领域和推动因素的交集，它位于物联网设备、机器学习和边缘计算之间的结合部，并因为多种驱动力的综合作用，进展很快。

主要应用领域在音频解析、图像视觉处理、传感器预测等。

TinyML的优点

1、蓝海市场

TinyML是一个新兴领域，是快速增长的机器学习技术和应用，是一片巨大的、未被充分开发的蓝海。

2、数据隐私，数据处理发生在设备本地，不会产生数据泄露的危险

3、网络带宽，在本地设备上先处理数据，只将重要数据上传云端降低带宽压力

4、时间延迟，海量物联网设备被部署，很多场景对时间延迟非常敏感，希望数据可以被实时传输。TinyML通过将某些机器学习任务转移到设备本身，来进一步减少网络延迟的可能性

·5、可靠性：在偏远地区、海上平台、空间站、极端环境的应用中，网络通信有可能无法保证始终覆盖。因此在这些物联网设备中，具备机器学习能力是一种必要功能。TinyML可以将某些边缘和云端中的机器学习能力移植到本地，提升可靠性。

·6、能源效率：许多物联网设备都是电池供电，对于功耗的要求很高。通过极低功耗TinyML的数据分析，减少网络传输的数据量，可以在一定程度上，节约物联网终端中的电量消耗。

图像分类与目标识别

        图像分类（带或不带口罩）            猫狗目标识别（标记识别框和位置）

图像分类算法是将输入的图像分为不同的类别或标签，而目标识别算法是在图像中识别出特定的目标，例如人脸、车辆、猫狗等。图像分类算法通常是一个多类别分类问题，而目标识别算法是一个多目标检测问题。目标识别算法需要在图像中定位目标的位置，并标识出目标的类别，而图像分类算法只需要将整个图像分为不同的类别。在深度机器学习中，通常会使用卷积神经网络来实现图像分类和目标识别任务。

垃圾分类模型

图像分类模型：垃圾分类模型

图像分类-垃圾分类模型，此模型可以识别水瓶和纸团两个类别的垃圾物，生成的是TensorFlow Lite (int8 quantized)模型文件。

垃圾分类模型的应用场景

城市垃圾分类管理：垃圾分类模型可以用于辅助城市管理部门进行垃圾分类规划和管理。通过识别和分类垃圾，可以提供有效的指导和建议，有助于优化垃圾收集、处理和回收的流程。

智能垃圾桶：垃圾分类模型可以嵌入智能垃圾桶中，通过图像识别技术，实时识别并分类投放的垃圾。这样可以提高垃圾投放的准确性和效率，避免错误投放和混合污染。

垃圾分类教育：垃圾分类模型可以用于开发垃圾分类教育的应用程序或在线平台。通过展示垃圾分类的知识和技巧，并提供实时的分类反馈和建议，可以帮助用户学习正确的垃圾分类方法，并提高垃圾分类的普及率和准确性。

垃圾回收与资源利用：垃圾分类模型可以在垃圾处理和回收领域中发挥重要作用。通过准确分类垃圾，可以方便地将可回收的材料提取出来进行再利用，有助于节约资源和减少环境污染。

模型下载地址

https://share.weiyun.com/sjfZAfjf

在SenseCraft AI上部署模型

1. 打开SenseCraft AI，地址：SenseCraft AI (seeed-studio.github.io)

1. 准备硬件，安装XIAOESP32S3摄像头扩展板

使用数据线一头连接到XIAOESP32S3开发板，另一头连接到电脑的USB接口上，如上图所示。

1. 打开SenseCraft模型助手网站，单击右上角的“连接”按钮，填充串口连接窗口后点击“连接”按钮，如下图所示。

当“连接”变成红色的“断开连接”按钮时，表示连接成功了。

4、在“可用的AI模型”列表中往下拉动找到“上传自定义上传模型”按钮，并单击此按钮，如下图所示。

5、弹出“自定义AI模型”窗口，填写模型名称、添加下载的模型文件、单击“新增物体”设置三个分类标签（注意三个标签的名称顺序不能写错，分别是BGIMAGE、BOTTLES和NODULE），填写完成后单击“发送模型”按钮，如下图所示。

1. 等待一段时间的下载和烧录固件的过程，完成后将打开右侧的预览窗口，现在就可以将XIAO ESP32 S3（Sense）的摄像头对准目标进行测试了，如下图所示。

推理结果演示

嵌入式部署模型

将垃圾分类模型部署到XIAO ESP32 S3（Sense）设备上，让神经网络算法可以在微型处理器上运行，并且脱离网络在边缘端独立运行，这就是TinyML的魅力所在！

硬件清单：

       

XIAO ESP32S3（Sense）                0.96英寸Oled显示屏

XIAO扩展板及3.7V锂电池

具体部署参考步骤如下：

Edgeimpulse | Seeed Studio Wiki

推理Arduino库文件下载

文件分享

写在最后

SenseCraft-AI平台的模型仓数量还很少，但是好消息是它支持自定义模型上传并输出推理结果，平台会逐渐增加模型仓的数量，敬请关注！