基于无线信号和低成本嵌入式设备的人体活动识别

根据以下论文整理《Human Activity Recognition using Wireless Signals and Low-Cost Embedded Devices》，作者Thuan V. A. Tong、Binh Bui-Thanh和Phuoc Nguyen T. H.来自越南胡志明市的信息技术大学和越南国立大学。论文主要研究了一种基于低成本WiFi信号的人体活动识别（HAR）系统，该系统适用于智能家居环境，并注重成本效益和隐私保护。

以下是论文的主要内容概述：

摘要

• 论文提出了一种基于ESP32微控制器和Jetson Nano边缘设备的低成本WiFi传感系统，用于智能家居中的人体活动识别。
• 系统通过ESP32 WiFi发射器和接收器捕获信道状态信息（CSI）数据，避免了昂贵硬件的需求，同时保护用户隐私。
• 评估了传统机器学习和深度学习模型在所获数据集上的表现，最高准确率达到95.57%。
• 最佳模型部署在Jetson Nano边缘设备上，实现了高效的活动分类和高吞吐量。
• 系统与现有的通信协议（如MQTT）无缝集成，并提供了用户友好的可视化界面。
• 通过使用单个发射器-接收器对实现准确的HAR，展示了方法的实用性和可扩展性。

引言

• 随着对智能家居便利性、安全性和个性化体验需求的增长，智能家居技术正在迅速改变我们与周围环境的互动方式。
• 论文重点研究了精确跟踪和识别人体动作的技术能力，这在医疗保健、健身监测和家庭安全等方面具有巨大潜力。

相关工作

• 论文回顾了WiFi传感技术的背景，包括信道状态信息（CSI）的基本原理和在智能家居中的多种应用。
• 对比了不同CSI收集硬件的成本、尺寸和重量，突出了ESP32微控制器的低成本和小尺寸优势。

A. WiFi Sensing’s Background

• 原理: WiFi传感技术主要利用周围环境中的信道状态信息（CSI）信号。CSI是在正交频分复用（OFDM）传输系统中捕获的一种信号度量，描述了无线信号从发射器传播到接收器时，多个子载波频率上的幅度和相位变化。
• OFDM系统模型: 在频域中，OFDM系统可以表示为 ( y = Hx + n )，其中 ( x ) 和 ( y ) 分别是表示传输和接收信号的复向量，( n ) 是噪声向量，( H ) 是信道信息矩阵。
• CSI计算: 对每个子载波收集CSI值，每个值定义为具有实部 ( H(i)r ) 和虚部 ( H(i){im} ) 的复数。可以计算每个子载波的幅度 ( A(i) = \sqrt{(H(i)_{im})^2 + (H(i)r)^2} ) 和相位 ( \phi_i = \text{atan2}(H(i){im}, H(i)_r) )。

B. Related Work

• 应用范围: 通过CSI的WiFi传感技术在智能家居中有广泛的应用，包括但不限于人体活动识别、定位、人群计数和占用检测。
• ESP32微控制器: 由于其低成本、小尺寸和能力，ESP32微控制器是CSI收集的流行硬件选择。
• 硬件比较: 论文中提供了一个表格，比较了USRP、Atheros、Intel 5300和ESP32在成本、尺寸和重量方面的差异，突出了ESP32的优势。

相关工作的进一步讨论

• 占用检测: 论文[10]中，作者能够通过墙壁监测到人体存在，并准确预测移动方向。
• 定位和人群计数: H. Choi等人[11]构建了一个系统，使用四对ESP32节点同时进行定位和人群计数，将这两个任务分别视为分类和回归分析。
• 人体活动识别: 论文[12]探索了人体活动识别，实现了不同活动集的准确度变化，包括手腕运动、手指运动、全身运动和使用健身器材。

这部分为读者提供了WiFi传感技术的基础知识，以及在智能家居领域中应用的相关研究和ESP32微控制器的优势。通过这些背景信息，读者可以更好地理解论文提出的系统和方法的理论基础和实际应用。

提出的系统

• 介绍了WiFi传感系统的主要组成部分，包括ESP32微控制器、Jetson Nano边缘推理设备、MQTT代理服务器和Android应用程序。
• 详细描述了CSI数据的收集、预处理、机器学习模型的选择和训练、MQTT代理的设置和Android应用程序的开发。
  

系统组成

• ESP32微控制器: 作为WiFi信号的发射器（TX）和接收器（RX），用于捕获信道状态信息（CSI）。
• Jetson Nano: 用于边缘推理，即在设备端进行数据处理和机器学习模型的推理。
• MQTT代理（Broker）: 部署在云端，负责设备间的通信。
• Android应用程序: 接收信息并展示给用户，使用户能够实时查看预测的活动信息。

处理流程

1. CSI传输: 从TX到RX通过WiFi信号传输CSI，期间在传输路径中执行某种活动。
2. 数据转发: RX将接收到的CSI数据通过串行端口转发给附近的Jetson Nano。
3. 数据处理和预测: Jetson Nano运行一系列数据处理步骤，然后由机器学习模型进行预测。
4. MQTT通信: Jetson Nano连接到MQTT代理，并在预定义的主题上发布其预测结果。
5. 客户端接收: MQTT客户端订阅该主题，从代理接收预测结果。
6. 结果展示: 预测结果在应用程序界面上展示给最终用户。

详细组件说明

A. CSI数据收集

• 使用ESP32微控制器和ESP32-CSI Toolkit进行所有CSI数据收集。
• 选择100Hz的采样率，即每秒收集大约100个CSI数据包。
• 收集了以下三种活动的CSI数据：（i）抬右臂（RA），（ii）抬左腿（RL），和（iii）伸展（SO）。

B. 数据预处理

1. 分割: 将每秒接收到的大约100个CSI数据包分割成200包的段，对应2秒的时间窗口。
2. 去噪: 原始CSI数据可能非常嘈杂，影响机器学习模型的性能。应用了Hampel滤波器和Savitzky-Golay滤波器来平滑数据。

C. 机器学习模型

• 选择了几种机器学习模型进行分类任务，包括支持向量分类器（SVC）、逻辑回归分类器（LRC）和随机森林分类器（RFC）。
• 构建了一个使用卷积神经网络（CNN）架构的深度学习分类器模型，以利用CNN在提取CSI数据空间特征方面的优势。

D. MQTT代理

• MQTT协议提供了设备间轻量级和安全通信的方式，已在众多物联网应用中使用。
• 使用HiveMQ Cloud平台创建了一个MQTT代理实例，并为Jetson Nano和Android应用程序创建了两个账户。

E. Android应用程序

• 开发的Android应用程序使用Java在Android Studio中实现，允许用户订阅MQTT服务器，并在专用用户界面片段中查看预测的活动信息。

系统特点

• 系统展示了使用ESP32 CSI Toolkit进行WiFi传感的现实潜力，并提供了使用ESP32收集的公共CSI数据集。
• 评估了多种机器学习和深度学习模型，以确定它们在边缘部署的可行性。
• 建立了一个简单的端到端WiFi传感系统，用于人体活动识别，并评估了系统的整体运行情况。

这部分详细介绍了论文提出的WiFi传感系统的架构、组件和工作流程，以及如何实现数据收集、处理、模型训练和推理，以及最终的用户界面展示。通过这种设计，系统能够以低成本、保护隐私的方式实现高效的人体活动识别。

评估

• 创建了数据集，并对三种活动（举手、抬腿和伸展）进行了分类。
• 对比了不同的学习模型，包括逻辑回归分类器（LRC）、支持向量分类器（SVC）、随机森林分类器（RFC）和卷积神经网络（CNN）。
• CNN模型在测试集上达到了95.6%的总体准确率，并在边缘设备上展示了高效的推理能力。

结论

• 论文提出了一个完整的WiFi传感系统，用于通过提取CSI信号进行人体活动识别。
• 强调了现有解决方案在隐私问题、成本和硬件需求方面的局限性，并展示了所提出系统的潜力。
• 未来工作将考虑扩大活动数量，并构建独立的深度学习模型，同时将WiFi传感技术集成到相机系统中以提高实用性。

参考文献

• 提供了一系列相关研究和文献，涵盖了机器学习、边缘计算、WiFi传感技术和人体活动识别等领域。

这篇论文为智能家居领域提供了一种新颖的、成本效益高的人体活动识别解决方案，同时注重用户隐私保护。通过使用ESP32微控制器和Jetson Nano边缘设备，研究展示了在保持高准确率的同时，如何实现低延迟和高吞吐量的活动识别。