使用 TinyML 和云支持的自动部署实现可持续个性化的设备内人体活动识别

这篇论文的标题是《Towards Sustainable Personalized On-Device Human Activity Recognition with TinyML and Cloud-Enabled Auto Deployment》，由 Bidyut Saha、Riya Samanta、Soumya K. Ghosh 和 Ram Babu Roy 四位作者共同撰写，他们均来自印度理工学院（Indian Institute of Technology Kharagpur）。

摘要

• 论文探讨了在可穿戴设备上实现个性化的人体活动识别（Human Activity Recognition, HAR），并强调了持续监测和个性化结果的挑战。
• 介绍了一种新型的智能手环，通过结合设备上的 TinyML 计算和云支持的自动部署技术来解决这些挑战。
• 使用惯性测量单元（Inertial Measurement Unit, IMU）传感器和定制的一维卷积神经网络（1D Convolutional Neural Network, CNN），用户可以根据自己独特的运动风格进行个性化的 HAR，且只需最少的校准。
• 利用 TinyML 进行本地计算，减少了持续数据传输和无线电通信的需求，从而降低了功耗和碳足迹，同时增强了用户数据的隐私和安全性。
• 通过迁移学习和用户特定数据的微调，系统在个性化设置中的准确率比一般模型提高了37%。
• 使用三个基准数据集（WISDM、PAMAP2 和 BandX）进行评估，证明了其在不同活动领域的效果。
• 提出了一个云支持的框架，用于自动将 TinyML 模型部署到远程可穿戴设备，即使目标数据有限，也能实现无缝定制和设备内推理。

关键词

• 设备内计算（On-device Computing）
• TinyML
• 云（Cloud）
• 自动部署（Auto-deployment）
• 个性化（Personalization）
• 人体活动识别（Human Activity Recognition）

主要内容

1. 引言：介绍了 HAR 的应用背景、现有方法的局限性以及设备内计算的优势和挑战。

2. 相关工作：

   • 设备内 HAR：探讨了在不同平台上实现设备内 HAR 系统的文献。
   • 个性化 HAR：讨论了个性化模型如何提高机器学习和深度学习算法的准确性。

3. 系统实现：

   • 介绍了基于 BandX 设备的原型，该设备使用 TinyML 在资源受限的微控制器单元（Microcontroller Units, MCUs）上实现了轻量级 1D CNN 模型。
   • BandX 设备能够通过分析嵌入式 IMU 传感器数据来跟踪七种人类运动。
   • 设备的核心是 ESP32 Vroom 处理器，具备 320KB 的 SRAM、4MB 的 Flash 存储，内置 WiFi 和 BLE 连接。
   • 介绍了两个新软件特性：通过迁移学习和微调技术实现个性化 HAR，以及自动将微调后的模型部署到目标设备。

4. 实验分析：

   • 使用三个数据集（WISDM、PAMAP2 和 BandX）评估模型的准确性和性能。
   • 描述了数据预处理、数据切片和实验方法。
   • 展示了在一般化和个性化设置中模型的性能，并讨论了结果。

5. 结论：

   • 论文提出了一种使用 TinyML 的设备内个性化 HAR 系统，以及通过 Web 应用程序自动部署个性化 HAR 模型到目标用户的方法。
   • 强调了该系统在数据隐私、低延迟和独立于网络连接方面的优势，以及通过减少对外部计算资源的依赖和最小化数据传输来实现可持续性。

参考文献

• 论文列出了一系列参考文献，涵盖了 TinyML、设备内机器学习、个性化 HAR 系统等领域的研究。

图表

• 论文中包含了关于 1D CNN 架构、云辅助自动部署工作流程框架和用于个性化 HAR 的仪表板的图表。

这篇论文提出了一种结合了 TinyML 和云技术的新型个性化 HAR 系统，旨在提高设备内计算的可持续性、准确性和用户隐私保护。