使用环境音频数据在ESP32-S3微控制器上实现嵌入式实时人类活动识别

这篇论文的标题是《Embedded Real-time Human Activity Recognition on an ESP32-S3 Microcontroller Using Ambient Audio Data》，作者是 Thomas Pfitzinger 和 Hendrik Wöhrle，来自德国多特蒙德应用科学与艺术大学。论文发表在2023年9月7日至9日举行的第12届IEEE国际智能数据采集与高级计算系统会议（IDAACS）上。

摘要：

• 本研究探讨了在微控制器上直接进行人类活动识别（HAR）的可能性，以减少网络流量和能源消耗，并解决隐私问题。
• 研究开发了一种智能传感器设备，该设备使用环境音频数据在ESP32-S3微控制器上实时进行HAR。
• 研究设计了一个卷积神经网络（CNN）来分类人类活动，并通过神经架构搜索简化了模型，以适应微控制器的资源限制。
• 研究在ESP32-S3上测试了模型，并确定了可行的版本。

关键词：

• 嵌入式系统
• 人类活动识别
• 机器学习
• 神经架构搜索
• 微控制器

主要内容：

I. 引言

• 介绍了HAR的重要性，特别是在智能家居和辅助生活中的应用。
• 讨论了在云服务器上进行机器学习任务的资源密集型问题，以及在嵌入式设备上直接处理传感器数据的优势。
• 论文的目标是在ESP32-S3微控制器上实现实时HAR，使用环境音频作为输入。

II. 开发

• 分析了微控制器的硬件资源。
• 设计了一个基于VGG-16的CNN模型，并对其进行了简化，以适应硬件限制。
• 实现了在微控制器上的测试环境。

III. 结果

• 基础模型在13个类别上训练，准确率达到93.18%。
• 通过神经架构搜索，实现了模型大小减少98.5%，计算成本减少99.4%。
• 简化模型的准确性略有下降，但仍然保持在较高水平。

IV. 结论

• 在资源受限的ESP32-S3微控制器上实现了13类HAR。
• 通过结构变化和神经架构搜索，显著减少了模型大小和计算成本。
• 提出了将神经架构搜索结果与模型剪枝和知识蒸馏相结合的建议，以实现更好的压缩与准确性比率。

识别的13类人类活动（HAR）包括：

1. 开关门
2. 关闭洗碗机、激活烤面包机
3. 使用咖啡机（意式咖啡机）
4. 在椅子上坐下和起立
5. 行走
6. 在键盘上打字
7. 吸尘清扫和扫地
8. 无活动

参考文献

• 论文列出了一系列与HAR、机器学习、嵌入式系统相关的参考文献。

图表和数据

• 论文中包含了多个图表，如模型结构、神经架构搜索结果的Pareto前沿、模型在微控制器上执行的结果等。
• 提供了模型参数、计算成本和准确性的详细数据。

研究意义：

• 本研究展示了在嵌入式设备上实现HAR的可行性，这对于智能家居和辅助生活领域具有重要意义。
• 通过减少模型大小和计算成本，使得在资源受限的设备上部署HAR模型成为可能。

论文的核心贡献在于展示了如何在资源受限的微控制器上实现实时HAR，并通过神经架构搜索技术显著优化了模型的性能和效率。