Detecting Falls with Wearable Sensors Using Machine Learning Techniques

基于机器学习和可穿戴传感器的跌倒探测系统

摘要：对于易跌倒人群来说，跌倒是一个严重的公众的健康问题甚至可能威胁到生命安全。为此，我和我的团队开发了一套自动跌倒检测系统，通过固定在人体六个不同部位的传感器单元。每一个传感器单元包括三个三轴设备（加速度传感器，陀螺仪，磁力计或者说是指南针）。14名志愿者实践了包括20项志愿性的跌倒动作和16项日常基本活动，得出2520条数据。为了降低计算机训练和测试用例的复杂性，我们关注每个传感器在加速度峰值点周围4 s的窗口内每个传感器的原始数据，然后进行特征提取和还原。大多数早期的跌倒检测研究采用基于规则的方法，这些方法依赖于传感器的输出简单的阈值。通过下列六种机器学习技术，我们成功的从一系列的ADL中区分出了跌倒行为：K-近邻（K-NN）分类器，最小二乘法（LSM），支持向量机（SVM），贝叶斯决策（BDM），动态时间规整（DTW），和人工神经网络（ANNs）。通过比较性能和计算复杂性，我们发现K-NN和LSM结果最理想，灵敏度，特异性和精确度都能够达到99%以上。这些分类方法同时还具有可接受的训练和测试的计算需求。我们的方法能够能够使用在现实场景中，尽管其中的数据长度不确定或包含多种按序记录的行为活动。
1、简介：
随着世界人口的老龄化，与健康相关的技术和对于老人活动的流动性检测正在成为一个热门的研究领域。科技的急速发展使得移动无线设备成为人们生活的一部分。情景感知的一个重要方面就在于识别，转译，监测人们日常的基本行为，比如，站立，坐下，躺下，行走，上下楼梯，其中最重要的是，跌倒行为的监测。世界健康组织讲跌倒行为定义为不自主的，未预料的，不可控制的导致人体冲向地面的事件。
跌倒行为需要被当做日常行为之一，因为跌倒常常在日常活动中意外的发生。跌倒是健康问题和也是一个健康威胁对于65岁以上的老年人来说。有数据表明，三分之一以上的老年人每年至少跌倒一次。除了老年人，儿童，残疾人，工人，运动员以及一些病人也常常跌倒。跌倒的原因有很多，而且其中一些不可能完全避免，而跌倒的后果往往很严重，所以，跌倒需要可靠的监测来保证减少相关的伤害和健康花费。精准的，可靠的，健壮的跌倒实时探测算法就非常的有必要了。
跌倒探测系统应该避免泄露跌倒危险人群的隐私，或限制他们的自由或降低其生活质量。用户激活的跌倒探测系统并不能有太大的实用价值。跌倒探测系统需要完全的自动化，可能需要多种传感器数据信息来保证其健壮性。一种普遍使用的方法是在环境中固定不同的传感器，比如摄像头，声控设备，压力传感器，振动传感器，红外传感器，激光传感器，RFID标签，惯性传感器，方向传感器 。智能环境能通过多种传感器成功实现，但这常常意味着高昂的安装费用。此外，其他人或宠物的移动也会轻易的干扰系统甚至发出错误的警报。这种方法的唯一优点就在于跌倒危险人不需要佩戴或携带任何的传感设备。如果人只在一栋建筑的特定区域活动，那么这种方法是可行的。然而，当人们在室内和室外到处活动时，那么这种方法就不合适了。这种方法使得人们的活动范围受到局限，因为系统仅在特定的环境中才能够使用。
与大多数基于上述方法的研究相比，可穿戴移动传感器有一些好处。从传感器传回的多个方向的一维信息使得处理更加的简单并且能够直接提供所需的三维信息。与视觉动作捕获系统需要单一视线不同的是，惯性传感器可以灵活的固定在物体里边或者后边，毫无阻碍。因为它们很轻，很舒服并且非常易于携带，可穿戴传感器不会把人们限制在一个像录音棚一样的环境中而是让人们能够自由地在室内外活动。可穿戴传感器所需的基础设施和相关花费比智能环境所需的少得多，并且可穿戴传感器不会侵犯到人们的隐私。不像声控传感器，可穿戴传感器还不会受到噪音的干扰。可穿戴传感器因而非常的适合开发自动化的跌倒探测系统。在本次研究中，我们依据这种办法来探究健壮而精确的探测和分类方法从而把跌倒行为在日常行为中区分开来。
跌倒探测一直都有人在研究。早期的一些研究工作比较片面而且受限并没有系统化。由于研究人员之间缺少共同点，使得一些发表的结果难以进行对比，综合或建立起一种能够达成结论的方式。传感器的配置和形式，物体的数量和特征，考虑的跌倒类型，特征的提取，以及信号的处理方式在不同的研究中都各不相同。尽管大多数的研究都有调查自主的（模仿性的）跌倒，记录在论文中的跌倒记录的数量也非常的有限。后者是一项非常困难且耗时的工作。而少量的真实的来自一部分病人的跌倒事件也不能概括为大部分的易跌倒人群的跌倒行为。
机器学习技术被用来区分包括跌倒在内的六种行为，通过使用一种红外动作捕获系统。支持向量机的研究不断的在发表。在近来的一项研究中，提出了一个基于计算机视觉的跌倒识别系统，通过把正常的RGB颜色信息和深度匹配起来。而随着深度地图的错误减少和场景其他信息的补充，这种组合能够实现更好的结果。跌倒因而能够以高达95%以上的准确率从日常行为中识别并区分开来。
为了实现健壮而可靠的跌倒探测系统同时与不同的研究进行比较，把从标准化的实验中得到的数据开放出来就显得很有必要了。我们发现仅仅三项研究提供了跌倒实验的指导，而只有一项实践了。而在【23】这篇论文中，说明没有跌倒行为的开放数据库，仅描述了跌倒的行为数据库的期望架构和特征。
尽管确实存在一些关于跌倒探测的商业设备和专利，这些设备并不能让人满意。主要的原因就在于这些设备的高伪预警率，高昂的铺设和维护费用以及反人类工程学的特点。而可穿戴跌倒探测系统广受诟病的一点则在于人们经常忘记，忽略或者不想佩戴这些设备。而如果这些设备是由电池供电的话，那么就还需要一次次的更换电池。然而，随着微型集成传感器技术的进步，这些设备已经发展的越来越小，越加的舒适和实惠。并且能够轻松地整合到附近其他的可报警系统
或者人们身上携带的设备。这些设备的轻便，低能耗以及无线使用降低了对于其可携带性和不舒适性的担忧。此外，包含嵌入式的加速度传感器的智能手机也是执行跌倒探测系统算法的合适的设备。
通过可穿戴传感器及机器学习技术，本项研究旨在精准健壮地探测跌倒行为。除了使用单一的基于规则的仅依赖于传感器输出值得算法外，我们还参考了附近加速度点的信号值。为了能够获得足够数量的数据来根据论文23中的指导 来实践算法，我们仅把我们的研究建立在自主性的（模仿性的）跌倒行为之上。
下文按照如下方式组织，在section2，我们描述了数据的获得和对六种机器学习方法的预览。在section3，我们在实验数据的基础上比较了不同机器学习方法的表现和对机器性能的要求。我们在section4讨论了比较的结果，并在section5指明了未来研究的方向。
2、材料和方法
2.1数据获得
我们使用由 Xsens Technologies制造的 MTw Software Development Kit 中的六种MTw传感器集成单元。每个集成单元包含了三轴设备（加速度传感，陀螺仪，磁力计即指南针）。我们在志愿者开始实验之前校准了传感器然后以25HZ的取样频率捕获记录了原始动作数据。每个单元的加速度，转速，以及在x，y，z方向上的地球磁场强度都被记录了下来。测量的数据通过RF连接（ZigBee）到Xsens’ Awinda Station然后通过USB接口连接到一台电脑上。
2.2、实验过程
我们根据23这篇论文的指导设计了跌倒行为实验。因为Erciyes University Ethics Committee的鼎力支持，7名女性和7名男性健康志愿者参与了我们的实验。我们将六个紧紧地安装在特定的带子上的无线传感器单元固定到了参与者的头，胸，腰，右手腕，右大腿和右脚踝部位（图1）。不像有线系统，无线数据获取允许使用者更加自然地移动。志愿者们佩戴了头盔，护腕，护膝以及护肘并在一张柔软的垫子上来演示各种行为以防受伤。每个行为轨迹大概平均持续了15s。
14个志愿者重复了五次一组包含20个跌到行为和16个日常行为的动作。我们因此获得了包含1400多项跌倒动作和1120项日常行为动作的数据。许多非跌倒性的动作是一些高冲击的事件因而可以干扰到跌倒行为的探测。这么大的一个数据量对于检测我们的算法是非常的有用的。
2.3特征选择和减少
早期的跌倒探测研究大多使用简单的传感器的输出值，因为这样比较简单而且所需处理时间少。这种方法并不十分健壮和可靠因为跌倒的类型有很多种，并且它们 的特征呈现出很大的差异性。此外，相当一部分的日常行为能够干扰到对于跌倒行为的探测。为了提高健壮性，我们考虑收集的信号的其他特征。完整的加速度由以下式子得到：

其中Ax，Ay，Az分别是x,y,z三个轴向的加速度。我们首先识别出加速度为峰值的时间点。然后，我们在峰值前后选取2s的时间间隔，对应着101个取样点的窗口大小，忽略其他点的值。而其他传感器的其余轴向的数据也以相同的方式化简，考虑从传感器取得的数据，这样就有六组101*9个数组的数据了。数据的每一列被表示为一个N*1的一维向量s= [s 1 ,s 2 ,…,s N ] T，其中N=101.提取出的特征值包括最小值，最大值和平均值，以及方差，偏度，峰度，前11个值的自相关序列，以及离散傅里叶变换（DFT）的前五个峰值信号与相应的频率：

其中，DFT q（s）是1-D N点DFT的第i个元素。我们展示了这15120条记录的各项特征。前五个分别是：最小值，最大值，平均值，偏度和峰度值。因为每个集成设备有九个方向，45个特征值取得。自相关产生99个特征（9轴×11特征）。 DFT产生5个频率和5个幅度值，产生共有90个特征（9轴×10个值）。 因此，每次试验从每个传感器单元中提取234个特征总共（45 + 99 + 90），导致维度为1404×1（= 234个特征×6个传感器）的特征向量。
因为初始的特征值太大了，而且并非所有的特征值都能用于从日常行为中区分出跌倒行为，为了简化训练和测试分类的计算复杂性，我们根据PCA把特征值的数量从1404减少到了30并且把结果特征值转化为0~1间的数值。PCA是找到特征的最佳线性组合的变换，在它们表示特征子空间中具有最高方差的数据的意义上，不单独考虑类内和类间方差。特征值向量的简化维度取决于
在图2a中观察到的排序的1404×1个特征向量的协方差矩阵按降序排列的特征值。 最大的30个特征值构成了本金总方差的72.38％组件，并解释了数据的大部分可变性。 30个对应于最大的30个特征值（图2b）的特征向量用于形成变换矩阵从而得到30×1的特征向量。
2.4基于机器学习技术的分类
一个可靠的跌倒探测系统需要设计好的，快速的，有效的和健壮的算法来推测一个跌倒行为是否发生。算法的表现可以用以下标准来测量：
灵敏度是指系统监测跌倒行为的能力，对应于监测到的所有跌倒行为中实际有效的跌倒行为所占的比率：

特异性是指当跌倒行为出现时系统的检测能力：

精度对应于跌到行为和非跌倒行为的正确区分：

这里，TP（一个跌到行为发生并且算法正确识别），TN（跌到行为未发生，算法未识别出跌到行为），FP（跌倒行为未发生，但是算法错误的识别了），以及FN（一次跌倒行为发生了，但是算法没有识别出来）分别表示真实有效的，真实无效的，虚假有效的，以及虚假的无效的跌到行为探测。显然，灵敏度和特异性之间的关系时相反的。比如，在一个仅使用简单输出值的算法，随着输出值的下降，FN的比率随之下降同时孙发的灵敏度增加。另一方面，随着FP的比率增加特异性的比率减少。基于这种定义，FP和FN的比率可以由下式得到：

在这篇论文中，我们把跌倒行为当做日常行为之一因为跌倒行为常常意外地在人们进行日常活动时发生。一个理想的跌倒探测系统应该做到正确的把跌倒行为从一些干扰性的能够使人身体部分产生大加速度的日常行为中区分开来（比如跳跃，或者突然地坐下）。算法必须足够的健壮，智能并且灵敏且能减小FP和FN的比率。由于ADL的错误识别所引起的错误报警虽然有害，但是可以由用户取消。然而，不要把其他行为识别成跌倒行为还是非常的重要。表示未识别出的跌到行为的FN，一定要通过各种办法尽量避免，因为如果跌倒行为造成了身体或者心理上的伤害但是用户却不能做到及时处理。比如长时间的静止（比如跌倒后的晕倒）可能受到睡眠或者休息状态的干扰。
我们使用了6种机器学习技术来从日常行为中区分出跌到行为并且基于器灵敏度，特异性，精度和计算复杂性来评价他们的表现。在训练和测试中，我们随机拆分数据集到p = 10个相等的分区，并采用p交叉验证。我们使用p - 1个分区进行训练，并保留剩余的分区用于测试（验证）。 什么时候这对于每个分区重复，训练和验证分区在p个连续循环中交叉数据集中的每个记录都有机会进行验证。
然后是6种机器学习算法

K-近邻（K-NN）分类器，
k-NN方法基于最近的训练对象来分类给定的对象[28]。 类决策是通过从所选数量的最近邻k中进行多数投票而产生的，其中k> 0是k的标准值。这里k并没有一个固定的值，因为k-NN算法对本地数据结构敏感。 越小的k值增加方差并使结果不稳定，而较大的k值增加偏差但降低灵敏度。 因此，k的正确选择取决于特定的数据集。 在这项研究中，我们基于我们的数据集确定k的实验值为k = 7。

最小二乘法（LSM），
在最小二乘法中，两个平均参考向量分别对应于跌到行为和日常行为。 将给定的测试向量x = [x 1，…，x M] T与每个参考向量进行比较r i = [r i1，…，r iM] T，i = 1,2，通过计算它们之间的平方差的和：

这种分类决策取决于最小的上式的值。

支持向量机（SVM），
初始的系数集和内核模型影响SVM的分类结果。 训练数据（x j，l j），j = 1，…，J的长度为J，其中x j∈IR N，类标签为l j∈{1，对于两个类（fall和ADL）。 我们使用径向基核函数K（x，x j）= e-γ| x-x j |如图2所示，其中γ= 0.2，具有用于SVM的库，在MATLAB环境中称为LIBSVM工具箱[29]。

贝叶斯决策（BDM），
BDM是统计模式分类中一种强大且广泛使用的方法。 我们使用正常BDM中的似然的密度判别函数，其中参数是平均数μ和每个类的训练向量的协方差矩阵C. 这些是基于训练计算的两个类的记录并且对于每个折叠是恒定的。 给定的测试向量x被分配给该类，其较大的可能性计算如下[28]：

动态时间规整（DTW），
DTW提供了可以在时间上变化的两个时间序列之间的相似性的度量速度[30]。 序列在时间上非线性地翘曲以找到之间的最小成本变形路径测试向量和存储的参考向量。 通常，欧几里得距离被用作成本测量和参考向量的元素之间的测量。 DTW用于诸如此类的应用中作为自动语音识别来处理不同的讲话速度，签名和步态识别，ECG信号分类，指纹验证，手写历史文档中的单词识别电子媒体和机器印刷文档，以及彩色图像中的面部定位。 这里，DTW用于区分从运动传感器中信号中提取出的不同活动的特征向量。

人工神经网络（ANNs）
ANN包括一系列的通过加权吸收连接数据的独立处理单元[31]。 我们实现了一个三层ANN，每一输入层和包括30个神经元，每一个输出层包括一个单一的神经元。 在隐藏层中，我们使用虚拟激活函数。在输出神经元，我们使用purelin线性激活函数，这使得类决策根据规则：

我们在MATLAB环境中使用神经网络工具箱创建了ANN并对其用Levenberg-Marquardt算法进行了训练。
3.结果
本项研究的框架是与实体无关的，我们考虑的分类器是用来处理完整的数据集的，而不是对每个实体都设计不同的分类器。我们在表2中把6种分类器的比较结果展现出来了。k-NN分类具有最高的精度（99.91%），其次是最小二乘法，SVM，BDM，DTW，和ANN。其中k-NN具有100%的灵敏度，表明所有的跌倒行为都被检测出来了。然而，有2~3个日常行为被错误的识别了，在10趟2520条轨迹当中（表3）。平均精度和分类器的标准偏差在表三中体现，在表三中，我们观察了每个回合的相似性，表明其重复性。因为k-NN分类器和最小二乘法没有错过任何跌到行为，我们认为这两种算法都是可靠的算法。分类器的ROC曲线如图3所示。
我们在表2的最后两行中的比较了六种机器学习技术的对计算性能的要求，就数据集的单次数据集包含252个特征向量所需的训练和测试时间。 我们在具有2.67 GHz四核64位Intel Core i5处理器和4 GB RAM的Windows 7计算机中的MATLAB 7.7.0环境中实现了算法。在所需的训练时间方面，分类器以递增的顺序分别为BDM，LSM，DTW，k-NN，SVM，和ANN。 在测试时间方面，顺序为ANN，SVM，LSM，BDM，k-NN，和DTW。
4.讨论
开放的数据集允许研究者把自己的结果与之进行比较。个体的差异性，活动谱，以及实验的数量是影响数据的重要因素。当一系列的活动能够很轻易的从少量个体中区分开是，那么就很可能获得较高的精度。然而，这些效果可能不能维持当有新的活动或者个体参与到研究当中时。尽管一些研究存在较高的敏感性和特异性，这些算法当真正在现实世界由新的使用者实现时，它们的表现就不那么好了。现在有很多的令人满意的学术成果，但是市场上并没有可靠的成型的产品。
我们在本研究中记录并包括在我们的数据集中的ADL是真实世界ADL的一个子集，其中许多是高度影响的事件，可能很容易与跌倒混淆。 自实验室记录ADL /瀑布和那些发生在自然环境中可能有一些差异，我们比较了平均值和我们记录的自愿下降的峰值加速度值，与[17]中的那些，其中一些记录老年人的非自愿跌落。 图4示出了由腰部记录的样本信号传感器在我们的实验中（这也是传感器在[17]中的位置）。
5.结论
我们使用以前提出的，标准化的实验程序，用基于机器学习的方法实现了六种分类器来把区分跌倒行为和其他行为。我们比较了基于实现精度高于95％相同的数据集的各种机器学习技术的性能和计算要求。十多次实验中结果的良好的重复性表明分类器的健壮性。k-NN算法和最小二乘法没有遗失任何的跌倒行为，因此我们认为这两种方法是可靠的分类器算法。这些分类器在训练和测试时同时具有良好的可接受的对计算性能的要求，使得他它们更加的适合实际的实时的应用。我们使用标准化的程序来执行一组全面的跌倒探测实验的事实在跌倒探测的领域树立了一个良好的范例。这也使得我们的方法更加的接近现实生活中的场景，其中带有不确定长度的，包含多种有序活动的数据被记录了下来。我们计划使用从跌倒行为和日常行为中的数据来测试我们的系统。为了便于不同研究的算法间的比较，我们打算把我们的数据集公开在尔湾大学机器学习存储库[35]。 我们的日常和体育活动数据集已经在同一网站[36]。在我们目前的工作中，我们正在研究六个运动传感器单元中和这些轴中哪个传感器在活动和跌倒检测中最有用[37]。 纳入来自生物医学的信息生命体征和音频传感器的传感器可以进一步提高我们的跌倒检测系统的鲁棒性。我们正在进行的工作考虑将跌倒检测算法嵌入移动设备（例如，智能电话）穿在腰部水平附近。