基于深度学习网络 在可穿戴式机器人中使用IMU实现人体活动实时识别

可穿戴式外骨骼机器人已成为支持人类运动的一种新兴高科技产品，能够在人体康复训练、日常活动和制造任务中提供必要的运动支持，而搭建高精度、低延迟的人体活动识别系统，能够帮助可穿戴式机器人快速准确地识别人体活动，更好地协助人类完成各项任务。

来自韩国的Tae-Seong Kim团队用一个集成了IMU（惯性测量单元）的可穿戴式机器人，在其边缘设备中嵌入了轻型的深度学习模型，以此来测试可穿戴式机器人实时识别人体活动的可行性。

图1 可穿戴式机器人和搭建的人体活动识别系统：（a）可穿戴式外骨骼机器人   （b）数据收集和预处理（c）深度学习模型   （d）硬件平台   （e）识别的活动

该可穿戴式机器人有两种主要的传感器元件负责记录活动信号：

1、两个旋转编码器位于执行器模块内部，负责测量髋关节角度。

2、一个九轴IMU传感器，集成在机器人的背包中。

该实验考虑了八种活动：

①站立（Stand）②站起（Stand up）③弯腰（Bend）④蹲下（Crouch）

⑤行走（Walk）⑥坐下（Sit down）⑦上楼（Stairs ascend）⑧下楼（Stairs descend）

收集了两种数据集：

1、历时数据集：八种活动被重复多次，并记录下每次迭代期间的活动信号。此数据集经过预处理和扩增后进行分割，80%作为训练集，20%作为测试集，用于训练、验证和优化PC和边缘设备上的深度学习模型。2、连续数据集：多个动作依次进行。此数据集用于测试边缘设备上人体活动识别系统的可行性。

团队采用了五种深度学习模型用于人体活动识别：CNN、RNN、LSTM、Bi-LSTM和GRU。模型结构如下图所示：

图2 深度学习模型结构：（a）CNN  （b）RNN  （c）LSTM  （d）Bi-LSTM  （e）GRU

实验结果表明，系统对站立、弯腰、 蹲下、行走、坐下、坐起和上下楼梯等8个动作的平均识别准确率为97.35%，推理时间低于10ms。

该实验验证了使用可穿戴式机器人实现实时人体活动识别的可行性，但是存在一个明显的缺点：对过渡活动的错误识别，这个问题未来可以通过部署更多的IMU传感器或者在深度学习模型中对这些活动进行建模和训练来解决，让可穿戴式机器人更好地帮助工人搬运重物，或是在人体康复过程中更有效地帮助患者进行康复训练。