一种步幅检测的深度学习策略

摘要
  本文采用躯干式惯性测量单元（IMU）提出了一种实用且方便的跨步检测方法。所提出的方法通过预处理由安装在脚上的IMU提供的传感器数据，生成描述脚是在静止还是移动阶段的标签。虽然使用安装在脚上的IMU检测脚的步幅持续时间仅仅只是一个阈值问题，但是当IMU位于上半身的替代配置实现这一目标并不容易。一个辅助的躯干式IMU同时采集数据，数据被分为两组，作为深度学习框架中的训练和测试数据。随后，通过使用安装在脚上和安装在躯干的两种IMU数据提供的相应标签，训练两种不同的深度学习框架。利用本文所提出的方法已经获得了有希望的结果，该方法能够根据躯干安装的IMU数据识别步幅持续时间。据我们所知，还没有其它研究采用深度学习框架来提出使用非足部IMU的跨步检测。
关键词
步幅检测，足部和躯干式IMU，行人定位，动作识别，深度学习

一、介绍

  惯性传感器成为许多应用的重要组成部分，例如，行人/车辆的导航与定位，无人驾驶车辆的稳定性与控制，动作识别，多模态机器人系统，运动捕捉系统等等。对于人体运动方面的应用，多采用微机电系统（MEMS）惯性测量单元（IMU），因为其重量轻，成本低，体积小，步幅检测（有时候是整个跨步）是至关重要的，因为脚的不动时段提供了步态的描述信息。例如，在使用惯性传感器进行行人定位领域，脚不动时段的检测可以帮助研究者估计和消除陀螺仪和加速传感器的时变偏差和严重的噪声特性。如果没有这种处理，误差的累积（即积分漂移）会产生不同的轨迹，从而会得到不正确的定位信息。虽然安装在脚上的IMU得到了成功的结果，但是它们不实用，在一只脚上安装传感器，会抑制他们日常活动的实施，这使得它们只能适用于研究者。正是由于这个原因，提出了多种不同的行人定位研究，例如使用躯干、胸部，手臂，口袋式IMU。此外，由于用户行为的不可预测性，使用智能手机的运动传感器是最普遍，最实用，也是最困难的情况。对于所有的这些场景，步长估计是通过参数方法完成的，与脚绑IMU研究所使用的加速度信号双重积分相反。在提供简单实用解决方案和更好的航向估计情况下，上半身安装的IMU方案不适用于现实的行人运动，如横向步态。利用上半身安装的IMU检测跨步阶段可以帮助解决上述的限制。此外，对于动作识别应用，具有相同设置的跨步检测是非常实用的。
  在过去的十年间，由于计算技术的进步，深度学习在许多领域显示出巨大的成效。除了为高度非线性回归问题提供准确的模型外，它还可以替代机器学习和模式识别中的各种分类器。尽管深度学习在各种应用中都作为一种有效的方法，但是并没有在IMU相关活动中得到很好的应用。一种没有任何附加特征的多层感知神经网络被应用于估计步幅长度设置但是产生低精度，另一种深度学习策略被应用于动作识别但是缺乏数学基础。该结构仅仅是数据收集和网络训练，而不是实现
任何阈值处理或是任何其他的计算。脚绑式IMU在文献[11]中被应用于人机交互。虽然人机交互是一个重要的领域，但是其所提出的方法需要每秒计算一次。与文献[11]相比，我们的深度学习方法提供自动化，并且解决此问题创建了一个更有效的方法。此外，文献[11]需要一个脚绑IMU，这在日常生活中是不切实际的。本文的方法使用残差网络建立了更有效的架构，从而拥有更高的精度。
  本文的结构如下，首先阐述我们使用深度学习实现的方法，最后，展示实验结构，得出结论。

二、方法

  本文的方法分为两个阶段：数据预处理以生成采用脚绑IMU得到的标签，残差神经网络的创建，采用躯干式IMU进行训练和测试。为了能够根据躯干式IMU得到的数据把人的步态分为静止和移动阶段，在所提出的深度学习架构的训练过程中需要标签。因此，分析人的行走就是产生二分类问题的标签。

A.通过脚绑式IMU进行DL训练的标签生成

  行人的步态具有重复的模式，并且在运动过程中，脚具有独特的特征：在某些特定的阶段保持静止。基本上，步态周期由两个阶段构成：站立和摆动。在站立阶段，在站立阶段，存在一个中间期，行人速度、位置和IMU方向的误差可在这一阶段估计出来（如图1）。通过在鞋子下面安装电阻传感器可以最好地实现这一时期的检测[12]，然而这会产生额外的成本和工作量。通过滤波器或者给惯性传感器读数设置阈值可以得到相同的精度，文献[2,13]。Fischer 等人研究表明基于角速度的ZUPT检测可以产生最佳性能。在本文的研究中，采用阈值化角速率幅度的方法。

数据采集包括，串口读取IMU，读取三轴加速度和陀螺仪速率，以及CPU时间，并自动将数据写入两个（一个IMU一个）文件。使用相同的IMU（精确规格）来采集数据以保持一致。如图2所示，行人手上拿着电脑，以不同的速度，俯仰，方向行走，同时从脚绑式和躯干式IMU捕获数据。收集了一组4000个数据（从两个IMU），用于随后的训练和测试过程中。来自两个IMU的数据通过以下方式处理：脚绑式IMU得到的每组数据（包括x，y，z轴的加速度和陀螺仪速率，和CPU时间）被标记为零速度（0）或行走实例（1）。陀螺仪速率大小阈值设为0.6以确定行人是移动还是静止。然后，根据起始CPU时间和结束CPU时间产生行走间隔。最后，迭代来自口袋IMU数据（包括与脚绑式IMU相同的信息），并检测它是否适用于任何行走间隔并使用二进制标记（0或1）。图3总结了标签生成过程。

B.使用深度学习分类

  这一部分是实际的分类和检测，本文用 PyTorch框架创建了一个残差神经网络。创建的网络包括具有不同数量的1层神经元，如表1所示。一个传感器得到的4300行数据集使用的学习率为0.001，包大小为70，时期数为1000。在训练阶段，交叉熵函数被用作损失函数，随机梯度下降被用于优化。

躯干式IMU提供6dof数据作为输入，二进制输出是基于脚绑式IMU的陀螺仪标准。在整个网络中使用整流器激活函数，使用sigmoid函数得到二进制输出。
  神经网络是一个用于模拟人类神经系统的强大的机器学习工具，是世界上最有效和最强大的学习系统。多层感知器是不同层的跟中神经元构成的网络，感知器方程如下

其中$\varphi$代表非线性激活函数，$n$代表通过随机初始化的权重$w_i$连接到网络的输入数目。每一个权重和输入值随后都会传送到隐藏层。越多的隐藏层数量会提高精确度，但是过度会引起过拟合。非线性激活函数可以是以下的一种：ReLU（整流线性单元），tanh或者是sigmoid。本文在整个神经网络中采用了ReLU函数，在输出层采用sigmoid函数，这是因为它返回二进制输出。如果在神经网络中有更多的隐藏层，或者在每层有更多的神经元，那么就对每层的单个神经元实施上述过程。在获得输出值之后，计算损失函数以找出与预期损失的偏差。我们的神经网络采用交叉熵函数来计算损失

其中$x$定义了我们的输出，$class$定义了实际结果。随后损失函数用于反向传播计算梯度。梯度用于调整神经网络中的权重，本文采用随机梯度下降函数来进行优化，其目的是最小化代价函数

其中，${\hat{y}}_i$是我们得到的结果，$y_i$是实际的结果。与常规梯度下降函数不同，随机梯度下降函数在一个epoch的每个数据都会更新权重。
  虽然人工神经网络（ANN）是一个强大的工具，一个带有残差块的ANN使得网络维持由激活函数（本文采用ReLU）产生的先验身份。通过将线性函数的结果和先前激活函数结果相加可以实现上述功能。图4显示了残差网络的结构。

三、实验结果

  在表2中，根据准确度分别列出了一个人工神经网络和残差网络的实验结果，更高的值代表在神经网络中有更好的性能。

正如预期的那样，残差网络比常规的ANN拥有更高的精确度。为了更好的理解实验结果，图5显示了早残差网络精度为93%的实验中，从脚绑IMU（地面实况）和躯干式IMU（即测试结果）测量得到的步幅相位。

虽然根据脚部运动对传感器分类具有更好的性能，但在残差网络的实验结果中观察到抖动效应，这可能导致利用脚部平稳性工作的应用中出现问题。为了克服这一问题，在ResNet的输出上应用了一个大小为7x1的基本一维移动平均滤波器，这一简单的工具不仅有助于消除突然的跳跃，获得正确的步幅相位，而且还提高了实验精度从93%到96%。期望所有实验的性能都能有类似的提高。

四、结论和未来的工作

  在本文中，提出了一种通过躯干式IMU估计步幅的新方法。脚绑式IMU被用于为两种不同的深度学习网络提供所需的训练标签，随后，使用躯干式IMU得到的数据来训练和测试所提出的架构。显示出两种网络的比较结果，并显示了描述性结果作为概念验证。因此，消除了对脚绑式IMU的需求，其大多数时候不是实用和可实现的配置，并且由躯干式IMU得到的关于行人步态描述性结果信息，可用于行人定位（例如非参数步幅长度估计的传感器偏差和误差估计）和动作识别领域。

REFERENCES

[1] E. Foxlin, “Pedestrian tracking with shoe-mounted inertial sensors,” in IEEE Comput. Graph. & Appl., vol. 25, no. 6, pp. 38-46, Nov-Dec 2005.
[2] A.R. Jimenez, F. Seco, C. Prieto and J. Guevara, “A Comparison of Pedestrian Dead-Reckoning Algorithms using a Low-Cost MEMS IMU”, in 6th IEEE International Symposium on Intelligent Signal Processing, 26-28 August, Budapest, Hungary, 2009, pp. 37-42.
[3] C. Fischer, P.T. Sukumar, and M. Hazas, “Tutorial: implementing a pedestrian tracker using foot-mounted inertial sensors,” in IEEE Pervasive Computing, vol. 12, no. 2, pp. 17-27, April-June 2013.
[4] J.O. Nilsson, A.K. Gupta, and P. Händel, “Foot-mounted inertial navigation made easy,” in Int. Conf. on IPIN, Busan, 2014, pp. 24-29.
[5] P. Goyal, V.J. Ribeiro, H. Saran, and A. Kumar, “Strap-down pedestrian dead-reckoning system,” in IEEE Int. Conf. on IPIN, Sep. 2011, pp. 1-7.
[6] J.W. Kim, H.J. Jang, D.H. Hwang, and C. Park, “A step, stride and heading determination for the pedestrian navigation system,” Journal of Global Positioning Systems, 3:273–276, 2004.
[7] J. Lategahn, M. Muller, and C. Rohrig, “Extended Kalman Filter for a Low Cost TDoA/IMU Pedestrian Localization System,” in 11th workshop on WPNC, IEEE, 2014, pp. 1-6.
[8] V. Guimarães et al., “A motion tracking solution for indoor localization using smartphones,” 2016 International Conference on Indoor Positioning and Indoor Navigation (IPIN), Alcala de Henares, 2016, pp. 1-8.
[9] Haifeng Xing, Jinglong Li, Bo Hou, Yongjian Zhang, and Meifeng Guo, “Pedestrian Stride Length Estimation from IMU Measurements and ANN Based Algorithm,” Journal of Sensors, vol. 2017, Article ID 6091261, 10 pages, 2017
[10] Valarezo Añazco, Edwin & Rivera, Patricio & Al-antari, Mugahed A. & Al-masni, Mohammed & Kim, T.-S. (2017). Human Activity Recognition Using a Single Wrist IMU Sensor via Deep Learning Convolutional and Recurrent Neural Nets.
[11] T. Zang, M. Karg, J. F. Lin, D. Kulic and G. Venture, “IMU based single stride idenification of humans,” 2013 IEEE RO-MAN, Gyeongju, 2013, pp. 220-225.
[12] Ö. Bebek et al., “Personal Navigation via High-Resolution GaitCorrected Inertial Measurement Units,” in IEEE Transactions on Instrumentation and Measurement, vol. 59, no. 11, pp. 3018-3027, Nov. 2010.
[13] I. Skog, P. Händel, J.O. Nilsson, and J. Rantakokko, “Zero-Velocity Detection—An Algorithm Evaluation,” in IEEE Transactions on Biomedical Engineering, vol. 57, no. 11, pp. 2657-2666, Nov. 2010.
[14] C. Fischer, P.T. Sukumar, and M. Hazas, “Tutorial: implementing a pedestrian tracker using foot-mounted inertial sensors,” in IEEE Pervasive Computing, vol. 12, no. 2, pp. 17-27, April-June 2013.
[15] Razor IMU (SEN-10736) tutorial by Peter Bartz. https://github.com/Razor-AHRS/ razor-9dof-ahrs/wiki/Tutorial.
[16] K. He, X. Zhang, S. Ren and J. Sun, “Deep Residual Learning for Image Recognition,” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 770-778.