AWash: Handwashing Assistance for the Elderly with Dementia via Wearables

Awash: 通过可穿戴设备为老年痴呆症患者提供洗手帮助

摘要：

• 本文提出一种系统Awash，仅利用安装在大多数手腕佩戴设备（如智能手表）上的商用IMU传感器来表征手部运动并提供相应的帮助，以确保患有痴呆症的老年人遵守手部卫生。
• 针对老年痴呆症患者对IMU传感器读数的特殊干扰，本文设计了一系列有效的技术来分割洗手动作，将感觉输入转换到身体坐标系，并提取传感器-身体倾斜角。
• 采用混合神经网络模型，使Awash在不需要重新训练或调整的情况下推广到新用户，避免了收集每个用户的行为信息的麻烦。
• 为了满足具有不同执行功能的用户的不同需求，本文使用状态机进行快速决策，支持定制化的帮助。 在8名年长参与者的原型上进行广泛实验表明，Awash可以提高使用者在洗手过程中的独立性。

1 介绍

• 老年痴呆症患者的记忆力逐渐丧失，执行功能逐渐恶化，以执行必要的日常生活活动（ADL），如进食、梳妆和穿衣。此外，洗手是老年人减少细菌、避免疾病的好方法，在日常生活中非常重要，特别是新冠肺炎或H1N1等呼吸道病毒爆发期间。
• 现有的基于视觉技术的工作效率很高，但出于隐私考虑和高硬件成本的缺点，通常不允许在浴室安装摄像头。
• 此外，近年还提出了几种基于手腕佩戴设备的系统，主要是提取加速度和角速度特征来区分洗手动作。
• 这些方法通常对年轻人和健康的人来说是有希望的结果。然而，一旦被用于帮助患有痴呆症的老年人洗手，它们总是无效的。究其原因，主要有以下三个方面：

1. 不同的行为模式。老年痴呆症患者的洗手行为模式与青壮年和健康成年人有很大的不同。例如，老年痴呆症患者的手部运动轨迹比健康成年人的手部运动轨迹更加曲折。此外，运动和肌肉的软弱和僵硬会对IMU传感器读数造成干扰（例如转折点较多，峰谷位置不同），这总是会使手的重复运动模式变形。因此，识别老年痴呆症患者的洗手行为需要先进的数据处理技术。
2. 洗手动作模式的个体差异更加明显。由于认知障碍的不同，老年痴呆症患者在洗手任务执行上表现出时间和空间的差异。因此，他们的洗手动作模式比健康人有更显著的个体差异。
3. 救助方式多样化。痴呆症患者患有不同程度的认知障碍，导致不同的执行功能。他们需要不同形式的援助，现有系统尚未解决这个问题。

• 基于上述原因，本文提出了Awash，这是一款专为老年痴呆症患者提供的洗手辅助系统，只利用商品IMU传感器，以便可以在大多数手腕佩戴设备上实施。通过观察发现，在洗手过程中，老年痴呆症患者的手腕姿势在不同的洗手动作之间是不同的，对各种干扰具有较强的抵抗力。 这促使我们调查手腕姿势测量，以确定洗手动作的特征，然后根据所执行的动作提供帮助。
• 本文的目标是构建一套能够准确识别洗手行为，为多元化、异质用户提供不同的洗手辅助解决方案，无需再培训、无需适配，即可推广到新用户的痴呆症老年人洗手辅助系统。
• 尽管构思简单，但Awash的设计面临三大挑战：

1. （信号处理）如何从连续噪声的IMU传感器数据中获取各种类型的洗手动作片段？在某些痴呆症患者洗手时，视觉运动障碍会影响他们的眼手协调能力，这会造成IMU传感器数据中的由于噪声产生的波峰和波谷 ，干扰实际洗手动作的检测（单个动作）。此外，洗手动作分割还会受到其他类型动作的干扰。例如，运动在不同的洗手动作和由于记忆力和注意力持续时间受损而不可预测的运动之间转换（动作之间）。为了解决这个问题，我们使用了一种基于自相关的方法来检测洗手运动片段。
2. （提取特征的方法）如何提取具有代表性的手腕运动信息来区分老年痴呆患者的各种洗手动作。由于老年痴呆患者运动的不协调性质，从手腕佩戴的设备收集的传感器读数粗糙而嘈杂。因此，直接从加速度计和陀螺仪读数估计的运动速度和位移信息在用于老年痴呆患者的洗手动作识别时是不够的。为了解决这个问题，我们研究了IMU传感器和使用者身体之间的相对倾角（传感器—身体倾角），以帮助准确和健壮地识别洗手动作。
3. （分类模型的推广）如何为有不同认知障碍的老年痴呆患者设计独立于用户洗手动作识别系统？有证据表明，由于认知障碍程度的不同，老年痴呆患者的洗手方式也是非常不同。例如，认知能力水平相同的用户在洗手时可能会有不同的运动轨迹，而认知能力不同的痴呆症患者不仅有不同的手部运动轨迹，而且运动轨迹的路径曲折也不同。为了克服这一点，本文使用混合网络模型来处理用户行为的差异，这使得Awash对任何人都是有用的，而不需要重新培训或适应。
   综上所述，本文主要做了以下几个方面的工作：

• 本文提出了Awash，这是一种基于可穿戴设备的洗手辅助系统，适用于患有痴呆症的老年人。它可以表征老年人独特的洗手模式，识别洗手动作，并支持对不同用户的定制指导。
• 本文设计了一套数据处理算法来分割洗手动作，并从传感器读数中解码IMU传感器与使用者身体之间的相对位置。 使用混合网络模型来处理个体之间的显著差异，实现独立于用户的洗手动作识别。 此外，本文使用状态机为有不同认知障碍的用户提供定制服务。
• 本文实现了一个原型系统，并在不同的参数和场景下进行实验。来自8名老年人的实验结果表明，Awash有效地识别了6种不同认知障碍的老年人的洗手动作，并能提高他们洗手的独立性。
  本文的其余部分对上述贡献进行了扩展。我们首先简要介绍洗手的动作和系统概述。（简写各个章节内容的描述。）
  The remainder of this paper expands on the above contributions. We begin with a brief introduction to handwashing actions and the system overview.

2 系统设计

1. 洗手动作

世界卫生组织发出指引，提供改善手部卫生的建议，如图1所示。所述洗手过程包括六个动作：即，双手手掌对手掌摩擦（动作1），右手手掌对左手背交叉十指，反之亦然（动作2），手掌对手掌交叉十指（动作3），手指背对对手掌交叉十指（动作4），左手拇指在右手掌上旋转搓揉，反之亦然（动作5），右手手掌上旋转搓揉、向后搓揉、反之亦然（动作6）。本文集中讨论了这六种洗手动作的认知。另外，本文提出的一般洗手方法也可以推广到其他洗手动作中。

2. 系统概述

Awash的基本思想是分析腕带装置收集的IMU数据以区分洗手动作。触发洗手数据收集和检测用户是否使用肥皂已通过一些技术得到解决。 例如，利用蓝牙或Wi-Fi模块定位用户，确定用户是否靠近浴室水槽，并使用智能水龙头和智能泡沫肥皂分配器检测用户打开水龙头和使用肥皂。我们目前的重点是认识到老年痴呆症患者的洗手行为，并根据执行的行为提供帮助。
老年人作为资料提供者，在洗手是会佩戴记录手部动作的腕式装置。图2显示了Awash的系统概况。该系统由四个部分组成：洗手动作分割、洗手信息推导、洗手动作识别和洗手辅助。

在洗手动作分割阶段，首先利用滑动平均滤波器对IMU传感器数据进行降噪处理。 然后，我们进行洗手动作检测，利用基于自相关的方法来区分洗手动作和非洗手动作和额外动作。 最后，我们根据每个洗手动作的开始和结束都会导致线性角速度的波谷这一事实对每个洗手动作进行分类。

在洗手信息推导阶段，进行坐标转换，使传感器读数与坐标系对齐。然后计算IMU传感器与使用者身体之间的相对倾斜角度来表征洗手动作。

洗手动作识别的核心是混合网络模型。传感器-身体倾斜角度的时间序列作为输入，该模型的隐藏层包含多层LSTM模型，输出层包含aggregate层（聚合层）和softmax层。利用神经网络的强大功能，该混合网络可以提取用户无关的特征。 经过训练，该模型可以实现对洗手动作的有效识别。

洗手辅助服务旨在面对不同使用者的不同需要，为他们提供不同的协助。认知能力不同的老年人在洗手时会遇到不同的问题。因此，他们需要不同的协助，以改善手部卫生。例如，有些用户需要特定步骤的说明，有些用户需要在错过步骤时提示，有些用户要求提示强迫行为。我们使用状态机对高级用户的洗手过程进行建模。通过定制输出功能，我们为用户提供定制的帮助。

3. 洗手动作的分割

采用滑动窗口方法将采集到的数据直观地分割成连续的片段，然后提取特征进行分类。然而，在不同类型的洗手动作之间需要额外的动作。例如，动作4是用手指交叉在手掌上摩擦手指北部，动作5是通过旋转摩擦左手拇指和右手拇指来完成。如果使用者连续执行动作4和动作5，将引入一个额外的动作，从手指互锁到拇指扣。此外，IMU传感器数据包含由于记忆力和注意力受损而导致的非洗手动作（如抓挠）。 为了避免不必要的计算开销和错误分类，我们设计了检测和分段洗手动作的算法。

（1）噪声抑制：为了有效地进行数据处理，首先应用移动平均滤波器对IMU传感器读书中的随机噪声进行粗略的抑制。
（2）洗手动作检测：一个关键的观察是老年痴呆症患者在洗手过程中总是重复进行各种洗手动作。这样的重复运动导致了加速度计数据的重复模式。而额外的动作和非洗手动作通常没有重复的模式。因此，我们的基本思想是检查滑动窗口中的加速度计数据是否有重复的模式，然后检测洗手动作。 然而，由于老年痴呆患者的眼手协调能力受损，每次洗手动作的加速度计数据是噪声和粗糙的。重复洗手动作的数据在幅度、峰值数目和峰值位置上存在差异。 直观的方法，如比较峰与峰之间的距离和傅里叶变换不能解决我们的问题。因此，我们采用自相关的方法来处理洗手动作的加速度问题。周期信号的自相关序列具有与信号本身相同的循环特性。因此，自相关可以帮助确定周期的存在和估计周期。

我们首先对时间序列加速度计数据应用一个滑动窗口。通过观察大多数洗手动作在2.5秒内完成，我们将窗户大小设置为6秒，以确保窗户可以捕捉到重复的洗手动作。然后，我们通过从1到window size × fs - 1的变化来计算窗户内数据的自相关，其中fs是采样频率。 假设窗上的数据来自同一种洗手动作，在这种情况下，至少有两个滞后会导致自相关峰，一个是可能的重复周期P，一个是可能的重复周期的两倍2P。如果窗口数据来自额外的运动或非洗手运动，则不能观察到自相关峰值。

图3显示了处理y轴加速度计数据的示例。洗手动作以黄色背景标示，非洗手动作及额外动作以白色背景标示。我们可以观察到，虽然同一种洗手动作的加速度波形不同（例如，峰值数目不同），但基于自相关的方法可以有效地区分非洗手动作和额外动作的洗手动作。由于x轴、y轴和z轴从不同角度反映了洗手动作的特点，如果将任意轴上的时间序列数据归类为洗手动作，则将其作为洗手动作。注意，我们在这个阶段不处理陀螺仪数据，因为加速度计数据有更好的性能，并足以实现有希望的检测。

（3）开始和结束位置检测：通过观察IMU传感器数据的振幅与运动强度成正比，我们检查IMU传感器数据值，确定每个动作开始和结束位置。由于在进行不同的洗手动作时，设备的坐标系会随着手腕旋转，因此每次洗手动作的开始和结束可能是加速度和陀螺仪的x、y、z轴数据的峰值或谷值。为了解决这个问题，我们转向是用线性角速度（LAV）：
$$LAV=\sqrt{{\left(w_x\right)}^2+{\left(w_y\right)}^2+{\left(w_z\right)}^2}$$
其中，$w_x$、$w_y$、$w_z$分别是陀螺仪在x，y和z轴的读数。LAV的是用使我们不必费心去确定动作的开始和结束是对应于一个高峰还是一个低谷。在洗手动作的LAV数据中，开始位置和结束位置必须对应于接近零的波谷。为了在不受额外波谷干扰的情况下准确地分割动作，我们首先比较了波谷之间的距离和滑动窗口中估计的周期P。两个波谷之间的距离和估计的周期P值最近被认为是洗手动作的开始和结束的位置。然后，通过向前或向后搜索，找到在窗口中其他的开始和结束的距离最接近于估计周期P的波谷，从而确定滑动窗口中其他洗手动作的起始点和终止点。图4是LAV结果搜索起始点和终止点的例子。

4. 洗手信息的推导

我们首先将传感器读数转换到身体坐标系统，然后计算传感器——身体的倾斜角。传感器——身体倾斜角使用的优点包括：（1）干扰对传感器——身体倾斜角有一定程度的影响，但影响不大。 （2）运动轨迹和路径曲折度的多样性对传感器——身体倾斜角只有很小的影响。（3）不同的使用者可以有一致的传感器——身体倾斜角的模式。

1)坐标转换：在洗手过程中，涉及到三个坐标系统，即设备坐标系（DCS）、接地坐标系（ECS）和身体坐标系（BCS）。图5显示了三个坐标系和欧拉旋转角度：pitch、roll和yaw。首先将IMU传感器数据从DCS转换到ECS，然后再从ECS转换为BCS，最后计算传感器——身体倾角。

DCS到ECS的转换：Awash首先使用一个基于四元数的方法对DCS到ECS的数据进行对齐。四元数是一个形式为$\mathbf{q}=q_i\mathbf{i}+q_j\mathbf{j}+q_k\mathbf{k}+q_r$，其中i，j和k是基本的四元数单位，$q_i$，$q_j$，$q_k$和$q_r$是实数。为了简化计算过程，我们基于$q_i^2+q_j^2+q_k^2+q_r^2=1$进行了归一化。我们使用基于四元数的旋转，将传感器的读数从DCS转换为ECS：
$$P_e={\mathbf{q}}_{\mathrm{d}\mathrm{e}}{P}_d{\mathbf{q}}_{\mathrm{d}\mathrm{e}}^{-1}$$
其中$P_d$是在DCS中采集到的数据，$P_e$是在ECS中的旋转数据。从DCS到ECS的四元数$q_{\text{de }}$可以直接从IMU传感器中取得，而同样，$q_{\mathrm{d}\mathrm{e}}^{-1}$是$q_{\text{de }}$的共轭四元数。

ECS到BCS的转换：我们发现参与者在洗手时会面对不同的方向。仅仅将数据从DCS转换到ECS还不能提供稳定的姿态模式来实现精确的传感。因此，我们将ECS中的转换数据转换为BCS，以规范化传感器的读数，计算如下：
$$P_b={\mathbf{q}}_{\mathrm{e}\mathrm{b}}{P}_e{\mathbf{q}}_{\mathrm{e}\mathrm{b}}^{-1}$$
其中，$P_e$是ECS的转换数据，$P_d$是BCS的旋转数据。$\text{ qeb }$是从ECS到BCS的四元数，而$q_{eb}^{-1}$是$\text{ qeb }$的共轭。考虑到传感器不能直接获取到从ECS到BCS的四元数，因此我们采用基于欧拉角的方法来计算所需的四元数$\text{ qeb }$。我们将数据通过下面定义的roll($\varphi$)，yaw($\psi$)和pitch($\theta$)来进行转换：
$${\mathrm{q}}_{\mathrm{e}\mathrm{b}}=\left[\begin{array}{l}\sin \frac{\varphi }{2}\cos \frac{\theta }{2}\cos \frac{\psi }{2}-\cos \frac{\varphi }{2}\sin \frac{\theta }{2}\sin \frac{\psi }{2}\\ \cos \frac{\varphi }{2}\sin \frac{\theta }{2}\cos \frac{\psi }{2}+\sin \frac{\varphi }{2}\cos \frac{\theta }{2}\sin \frac{\psi }{2}\\ \cos \frac{\varphi }{2}\cos \frac{\theta }{2}\sin \frac{\psi }{2}-\sin \frac{\varphi }{2}\sin \frac{\theta }{2}\cos \frac{\psi }{2}\\ \cos \frac{\varphi }{2}\cos \frac{\theta }{2}\cos \frac{\psi }{2}+\sin \frac{\varphi }{2}\sin \frac{\theta }{2}\sin \frac{\psi }{2}\end{array}\right]$$
我们注意到在洗手的时候，使用者总是把他们的手朝着脸的同一方向伸展。我们受到启发，利用使用者的手部动作来推断他们面对的方向，或者引导使用者向前摆动手臂几次来帮助确定他们身体的方向。我们假设使用者站在水平地面上。因此，$\theta$和$\varphi$为零。并且，$\psi$可以定义为绕北向逆时针旋转的角度。首先，我们计算了ECS中加速度在X轴和Y轴上的笛卡尔平面 的二重积分。其次，我们计算手臂运动引起的X轴和Y轴位移之间的角度$\alpha$如下：
$$\alpha =\left|\arctan \left(\frac{\text{ Accumulated Distance in Y-axis }}{\text{ Accumulated Distance in X-axis }}\right)\right|$$
请注意，由上式计算而来的$\alpha$的范围介于0到$\frac{\pi }{2}$之间，我们需要将其转换为0到$2\pi$之间来得到yaw的角度$\psi$。我们采用基于象限的方法将$\alpha$转换为$\psi$，定义如下：
$$\psi =\{\begin{array}{ll}\frac{3\pi }{2}+\alpha ;& \text{ if }Q=1\\ \frac{\pi }{2}-\alpha ;& \text{ if }Q=2\\ \frac{\pi }{2}+\alpha ;& \text{ if }Q=3\\ \frac{3\pi }{2}-\alpha ;& \text{ if }Q=4\end{array}$$
其中Q是手臂运动的象限，可以根据X轴和Y轴上加速度的波峰和波谷的顺序来估计。
2)传感器——身体倾角计算：下图6展现了传感器——身体倾角，$A_{YR}$，$A_{ZR}$和$A_{XR}$，其中$R$为BCS的加速度。传感器——身体倾斜角可以计算如下：
$$\left[\begin{array}{l}{A}_{XR}\\ A_{YR}\\ A_{ZR}\end{array}\right]=\left[\begin{array}{l}\arctan \left(\frac{\sqrt{a_y^2+a_z^2}}{a_X}\right)\\ \arctan \left(\frac{\sqrt{a_x^2+a_z^2}}{a_y}\right)\\ \arctan \left(\frac{\sqrt{a_x^2+a_y^2}}{a_z}\right)\end{array}\right]$$
其中，$a_x$，$a_y$和$a_z$是转换为BCS后的加速度。

传统上，可以通过将收集的数据和已知模板（例如，动态时间规整）进行比较或者从收集的数据中学习信息（例如，基于机器学习的技术和基于神经网络的技术）来实现动作识别。然而，为每个洗手动作生成独立于用户的标准模板是具有挑战性的。 因此，我们首先提取传感器——身体倾斜角，然后利用高效的神经网络生成独立于用户的特征，并利用基于统计的方法识别不同的洗手动作。先前的工作已经证明，这种三步法可以实现高精度的独立于用户的分类。

5. 动作识别
   在这一部分中，我们首先描述了用于识别洗手动作的混合网络模型，然后详细介绍了独立于用户的洗手动作识别方法。

1)混合模型：在提取时间序列传感器的身体倾斜角后，提出了一个新的挑战：如何快速提取与用户无关的特征，并保证洗手动作的实时性和准确分类？为了解决这个问题，我们利用长短期记忆（LISTM）的能力来学习隐藏在手腕姿势序列中的有意义的信息，并开发一个混合模型来实现准确的分类。

图7展示了混合模型的体系结构，它由三层组成：输入层、隐藏层和输出层。输入层以传感器——身体倾斜角作为输入。然后，将手腕姿势和手部动作信息送入隐藏层。隐藏层提取与用户无关的特征。具体地说，我们利用LSTM的力量。由于单层LSTM不能提供足够的细粒度特征，我们使用多层LSTM网络来获得与用户无关的特征。每个LSTM层具有重复模块链的形式，并且每个模块具有单元、输入门、输出门和遗忘门组成的相似结构。这些大门扮演着不同的角色。通过迭代过程，他们可以通过无人监督的方式统一挑选相关信息。输出层由聚合层和识别洗手动作的Softmax层组成。网络经过训练，以最小化收集到的真实数据和预测结果之间的差异。

2)独立于用户的洗手动作的识别：给定传感器——身体倾斜角，我们将它们归一化，并在时间尺度上将它们拉伸到相同的长度。然后，我们使用混合网络基于角度矩阵 M = { A X R ′ , A Y R ′ , A Z R ′ } M=\left\{A_{X R}^{\prime}, A_{Y R}^{\prime}, A_{Z R}^{\prime}\right\} M={AXR′​,AYR′​,AZR′​}生成独立于用户的特征，并识别每个洗手动作。对于第i个LSTM层的输入矢量$m_{i,t}$，我们可以获得一个输出$h_{i,t}$。最后一个LSTM层随时间累计输出是洗手动作的压缩表示。通过使用t分布随机邻居嵌入（t-SNE）来降低特征维数，我们给出从图8中的三个志愿者中提取的特征的例子。

三位志愿者相同的洗手动作分布非常紧凑，不同的洗手动作分布不同。结果表明，提取的特征能够区分洗手行为和处理用户行为差异。 最后，输出层获得每个洗手动作的预测概率，我们把预测概率最高的预测作为公认的行动。

传感器——身体倾斜角对于干扰具有很强的鲁棒性，并且混合网络推到出洗手动作的cross-user模式。与传统的基于训练加速度和角速度特征进行检测的方法相比，我们的识别召回率、准确率和F1-Score都有了明显的提高，实验细节见第III-D节。

6. 辅助洗手

我们的目标是提供有效的干预措施，通过提供适当的洗手指导，培养患有痴呆症的老年人的独立性。仅凭常识为老年痴呆症患者提供洗手帮助是不够的。痴呆症是一种认知功能的进行性损害，通常伴随着运动能力的下降。在咨询潜在用户、家属、护理员、医生后发现，认知能力不同的老年人洗手时总会遇到各种问题，需要帮助的需求也不同。例如，认知能力轻度下降的老年人可能会忘记洗手过程，错过整体任务中的几个步骤。在同一程序中练习洗手动作是对他们进行护理干预的重要组成部分。中度痴呆症患者的情况更糟。他们可能会忘记如何执行特定的动作，有强迫症行为，无法专注于任务，然后失去对整体进展的跟踪。尽管如此，在一些口头知道的指导下，患者还是能够应付的。对于那些患有严重痴呆症的人来说，问题就更复杂了。因此，不同认知能力的老年人需要不同的帮助来改善手部卫生。

1)洗手过程建模：为了支持定制化辅助，我们采用状态机为用户洗手过程进行建模并提供帮助。状态机技术的使用是因为它的输出依赖于整个历史的输入，而不仅仅是最近的输入。包括五个变量，即输入、输出、状态、下一个状态函数、输出函数：

• 输入，$I_t$可以是六个洗手动作。
• 输出，$O_t$，是迅速做出决定。
• 状态，$S_t$，表示用户的当前状态（例如，执行动作1）。
• 下一个状态函数，$n\left(I_t,S_t\right)\mapsto S_{t+1}$，映射了输入和状态到下一个状态。
• 输出函数$o\left(I_t,S_t\right)\mapsto O_t$，映射了输入和状态到下一个输出。

在使用Awash之前，护理人员、医生和家庭成员会帮助用户设置自定义提示。当连续洗手动作被识别并输入到状态机时，系统会根据自定义的输出函数不断更新状态和提示。

我们给出一个当用户在执行任务时没有按照推荐的步骤的提示的例子。图9显示了状态转换图，开始和结束状态被标记为绿色。其余状态被标记为蓝色。从状态$S_t$到状态$S_{t+1}$的箭头描述了输入I（下一个状态函数）发生的转换。我们增加了时间限制来监控强迫症行为，并确保洗手的时间长度足够。用户定义的输出在图表中隐藏。这里我们给出一个例子：如果执行动作2的状态获得了动作6的输入，则Awash将引导用户执行动作3。

2)音频提示设计：Awash为用户提供音频提示。原因来自三个方面：（1）他们熟悉语音提示，因为他们的家人和照顾者总是使用口头指示。（2）使用口头媒介而不是视觉媒介进行提示可以更直接地增强执行功能。（3）视频提示可能会分散他们的注意力，干扰洗手任务的执行。

Awash提供的音频提示经过精心设计，以便于认知能力有限的老年人的理解：（1）是否知道声音并不影响辅助性能，而且男生比女生更受欢迎，我们选择了流畅温和的男声。（2）命令越直白，对认知能力的要求就越低。我们用“手掌对手掌”代替“逆错过了一步，请现在用另一只手掌摩擦你的手掌”，以及（3）目标用户通常患有听力损失，我们发送测试提示符，以确保在初始化过程中的所有提示的声音足够大，可以清楚地听到。

3 评估

1. 实验设置

为了验证Awash的可行性，我们构建了一个装有9轴IMU传感器（包括3轴加速度计、3轴陀螺仪和3轴磁力计）的样机，作为智能手表的替代品。一台笔记本电脑通过Wi-Fi与原型配对，Wi-Fi充当边缘服务器。洗手时，以100Hz的采样率记录传感器读数。在洗手池上方放置了一个摄像头，记录参与者的洗手动作，以提供ground truth。音频提示是用男性流畅柔和的声音录制的。实验中，我们使用外置音箱播放音频提示，在商品智能手表上实现后，内置音箱即可播放。

我们招募了8名年龄在65-81岁之间的参与者进行洗手。他们是从一个老年社区的居民中挑选出来的。这项研究是在该设施的伦理委员会的批准和参与者家属的同意下进行的。在数据收集之前，蒙特利尔认知评估（MoCA）被用来测试参与者是否存在认知障碍。表1列出了参与者的人口统计信息及其评价结果。MoCA的得分在0到30之间，得分在26分或更高，通常被认为是正常的。

在短暂的训练后，参与者被要求在他们家里的水槽（30-35英寸）和我们实验室的一个儿童水槽（26英寸）中重复洗手5次。此外，所有参与者都被要求每天至少收集一次Awash原型的洗手数据，进行为期20天的实验。为了适应佩戴该设备的不同位置，鼓励他们根据自己的习惯佩戴原型。目前，每个会话的数据采集都是手动触发的，在未来的工作中可以通过智能传感或智能家居产品自动触发。我们总共收集了6000多个动作片段。

2. 评估标准

Recall（召回）。正确捕获为标签A的实例在应该具有标签A的所有实例中的比率。高召回率意味着分类器返回所有肯定结果的大部分。

Precision（精确度）。被正确识别为标签A的实例在所有预测为标签A的实例中的比率。高精度意味着分类器返回正确的结果。

F1-score（F1分数）。召回率和精确度的调和平均值。

3. 洗手动作识别的整体性能

为了了解Awash在独立于用户的场景中识别洗手动作的性能，我们进行了leave-one-participant-out-validation，其中来自一个参与者的数据进行测试，其余参与者用于训练。我们使用在参与者家中收集的数据，因为他们家里的水槽的高度使用起来很舒服，而且提取的传感器——身体倾斜角通常是一致和独特的。总体而言，在8名参与者中，Awash的平均召回率为92.94%，平均精确度为92.60%，平均F1分数为92.76。而且，80%的识别时延小于0.9秒。这表明Awash可以及时实现准确的洗手动作识别，痴呆症患者无需提供训练数据即可受益于Awash。

下图10显示了累计结果的详细混淆矩阵。我们发现，错误识别发生在动作2和动作3之间，以及动作5和动作6之间。这是因为每一对洗手动作都有非常相似的手腕姿势和运动模式。我们还可以观察到，与动作5相比，属于动作1的实例更有可能被错误分类为动作6。不平衡错误的一个可能原因是收集的实例数量不平衡。

4. Awash方法与传统方法的比较

传统的洗手动作识别方法主要是基于机器学习方法从加速度和分类动作中提取经验累积分布函数、均值、标准差、峰度和偏度等特征。为了比较传统方法和Awash方法在识别老年痴呆症患者洗手行为上的性能，我们对采集到的IMU传感器数据进行了传统方法的实现。测试了三种常用的分类器：支持向量机、随机森林和k近邻。下图11显示了识别结果，三个被测试的分类器的召回率、精确度和F1得分均低于80%，因此Awash在老年痴呆症患者的洗手识别上由于传统方法。

5. 不同问题对洗手行为认知的影响

1)混合模型结构的影响：在混合模型中，LSTM网络层的数目和每层记忆单元的数目对独立于用户的特征提取和洗手动作识别的性能有重要影响。在配置了20多种不同的模型参数组合后，我们发现，随着层数和存储单元的增加，系统性能可以得到提高。然而，更多的LSTM层和存储单元揭示了更高水平的运动信息，但也导致了更高的计算成本。为了降低成本和保证细粒度的识别，我们在混合模型中配置了128个单元和3个LSTM层，使得Awash能够获得高于92%的召回率、查准率和F1分数。

2)长期认知表现：下图12显示所有参与者在20天以上的洗手动作再认表现。训练结束后，分别在当天、1天、2天、5天、10天、15天和20天后收集测试数据。在使用第20天收集的数据进行测试时，召回率、准确率和F1分数都在84%以上，这在实际环境中是可以接受的。此外，我们计划定期更新训练数据，以改善表现。

3)水槽高度的影响：传感器——身体倾斜角对水槽高度很敏感。因此，我们使用在儿童基座水槽中收集的数据对Awash进行评估。当使用在参与者家中收集的数据进行培训和在儿童水池收集的数据进行测试时，准确率会下降，当我们将训练数据集扩展到包括儿童水槽收集的数据时，准确率会提升。由于Awash支持独立于用户的洗手动作识别，因此我们可以收集不同使用环境下健康老年人的训练数据，以提高系统性能。

6. 洗手辅助器的使用效果

我们要求参与者洗手三次，当只提供了一张印有洗手步骤的海报，以建立他们的洗手能力基线。由于招募参与者的认知和样本量有限，对Awash的有效性进行全面分析是不可行的。因此，我们进行了一项学科内的用户研究。MoCA得分较低的参与者1、2、3和4在总体任务中错过洗手步骤时会得到提示（粗粒度）。当其余参与者未遵循建议的步骤顺序时，系统会提示他们（细粒度）。我们通过比较参与者可以进行的洗手动作的数量（对于参与者1-4）和参与者可以按照正确的顺序进行的洗手动作的数量（对于参与者5-8）来验证Awash提供的洗手帮助的有效性。

表2显示了8名参与者的详细结果。与基线相比，参与者在使用Awash时能够完成的洗手动作数量增加了。

7. 用户体验：

在参与者体验了Awash的帮助后，得到了参与者们的反馈。图13总结了8名参与者的回答，五个正面陈述和五个负面陈述。参与者的高度评价表明，Awash提供了良好的用户体验。

4 相关工作

监测和促进系统被建立为有效的解决方案，以帮助老年痴呆症患者进行浴室常规、摆桌子、泡茶、穿衣和刷牙。

至于老年痴呆症患者的洗手辅助技术，则采用了基于视觉的方法。然而，这些基于视觉的方法部署成本较高，很难在大规模推广应用中得到使用。此外还有隐私问题。

相关工作的另一方面集中在使用腕式设备来监测或辅助洗手，这是基于视觉方法的替代方法。由于老年痴呆症患者的行为模式与年轻人的行为模式不同，它们不能直接应用于老年痴呆症患者的洗手帮助。此外，现有技术不能解决由认知能力差异引起的用户行为的显著差异。

已经广泛开发了基于Wi-Fi、RFID、声信号、灯和热红外信号的方法来识别各种人体运动。但是，由于它们对水、肥皂泡沫、环境温度敏感，不适合用于洗手动作识别。有些戒指，如磁性传感器，可以准确地识别手势，但洗手时应该摘下它们，以提高整体清洁度。此外，从手臂肌肉获得的肌电图也有助于识别动作。然而，老年痴呆症患者在适应变化和接受新事物方面遇到了困难。

与以前的方案相比，Awash可以解决老年人特有的干扰问题，提取独立于用户的特征，实现连续细粒度的洗手动作识别。此外，它还为不同的用户提供不同的帮助。此外，Awash只使用商品级IMU传感器，因此可以部署在最负担地起的手腕装置，这可以更广泛地接受老年痴呆症患者。

5 结论

使用集成在大多数腕式设备上的IMU传感器来收集洗手数据，通过使用一系列新颖的数据处理技术和一个混合网络模型，能够识别独立于用户的场景中的洗手行为。这项研究还可提供适当的指南引导。