第二十一天： Sensing Fine-Grained Hand Activity with Smartwatches

捕捉细粒度的手部活动可以使计算体验更加强大和具有上下文感知。事实上，哲学家伊曼努尔·康德认为，“手是大脑中可见的部分。”然而，之前的大多数工作都集中在检测全身活动上，如步行、跑步和骑自行车。在这项工作中，我们探索了从商品智能手表中感知手部活动的可行性，这是实现这一愿景的最实用的工具。我们的调查从50名参与者的野外研究开始，该研究捕获了近1000小时的手部活动标签。然后，我们研究了这些数据，以确定我们的研究目标，并告知我们的技术方法。最后，我们进行了第二项实验室研究，评估了我们的分类堆栈，显示了在25个手部活动中95.2%的准确性。我们的工作强调了一个未充分利用，但高度互补的上下文渠道，可以解锁广泛的有前途的应用。

介绍

几十年来，人类活动感知一直是一个活跃的研究领域（见[6][9][14][23][71]）。强大的移动传感平台(如英特尔移动传感平台(MSP)[12])的出现和智能手机的普及，进一步加速了这一领域的研究。就在过去的几年里，可穿戴设备出现了，为研究人员提供了一个滩头阵地，提供了提高的保真度和新的感觉维度。如今，许多消费类智能手机和智能手表都包含了活动感知功能，可以区分步行、骑自行车、驾驶和睡眠等[23]。
大多数情况下，分类数据都面向用户进行健身和个人信息学应用，因此主要关注运动（或缺乏运动）。然而，这忽略了一个丰富而广阔的人类精细行动的景观，特别是那些由手所采取的行动。我们称这些为手部活动，它们通常独立于身体活动。例如，一个人可以在散步时在智能手机上打字（手部活动）（身体活动）；或者在慢跑时喝一口水；或者躺在床上翻看书。Wilson[76]对这些不同的用途进行了生动的描述：
“在拉着被子和床单，把自己卷到一个更舒适的位置，你意识到你真的必须起床。接下来是马戏团中嘈杂的浴室滑稽动作：拧水龙头把手，打开和关闭橱柜和淋浴门，把马桶座圈放回它应有的位置。它们是容易玩的东西：肥皂、刷子、管子和有帽子和盖子的瓶子，可以扭转或翻转打开；[…每天早上都以一种仪式一样穿过我们自己的私人障碍路线——需要打开或关闭、移动、推、扭曲或转动、拉、扭曲或捆绑的物品。他们的手在这片地形上移动得如此出色，所以我们对这个成就毫无所知。[…我们的生活充满了平凡的经验，双手如此熟练和默默地参与其中，我们很少考虑我们实际上有多依赖他们。”
如果计算系统能够同时了解身体和手的活动，那么应用程序将对环境更加敏感，并辅助于即时的、持续的任务。最先进的活动检测大部分都停留在行走状态（行走、站立、睡眠等）。数十年来我们设想智能手表（慢慢变得越来越普遍）是一个独特的身体滩头阵地，可以捕捉丰富的日常行动。它可以解锁许多应用程序，从个人信息学、健康和技能评估，以及广泛的环境意识。例如，一个知道你的手在做什么的系统可以智能地避免中断。手部活动检测也可用于识别有害的模式（如重复性拉伤或手臂振动综合征），或建立健康的习惯（如定期洗手）。
在这项工作中，我们展示了手部活动可以从一种现成的商品智能手表中得到可靠的感知，而没有任何外部基础设施或物体的仪器，为实现这一愿景开辟了一种新的和实用的手段。除了追踪手的粗糙运动和方向外，手腕也是捕捉大多数手的活动（如打字、刷牙）的副产品所产生的生物声学信息的完美有利位置。在这里，我们将生物声学定义为身体耦合的微观现象振动通过用户的手臂传播。由于用户的差异、无数的工具和配件以及环境的差异，这些信号本质上是多样化的。为了克服这个问题，我们开发了一个灵活的处理管道，显示了惊人的鲁棒性，强调了我们的方法的可行性。
我们还在手动作和手活动之间做了重要的区别。具体来说，我们将手部活动定义为一系列持续的相关手部动作，通常持续几秒钟或几分钟。例如，一次拍手将是一个手的动作，而一系列的拍手则是拍手的活动。决定专注于手的活动既是实用的（来自连续信号的更多数据可以实现稳健的分类），也是功能性的（瞬时手事件很少表明用户的活动，因此提供的计算增强的机会更少）。
正如我们将详细讨论的，我们以50名野外参与者的经验抽样(ESM)研究[17]开始了我们的调查。它产生了大量真实世界的数据，为我们的机器学习工作提供了信息。其次，它给了我们一套人们在现代世界中如何使用他们的手的工作集，因为没有当代的“手的民族志”可以借鉴。我们对参与者的标签进行了分类，并选择了25个常规但有趣的手部活动（图1和图4）来进行第二次实验室可行性评估。使用“障碍课程”方法[6]，我们测试了我们的完整管道，它显示了95.2%的分类准确率。我们还进行了一系列的补充实验来调查具体的问题，如假阳性拒绝。总的来说，我们相信这项工作展示了仅使用商品智能手表对细粒度手部活动的实际感知，为响应性和上下文敏感的应用开辟了新的可能性。

概念验证平台（PROOF-OF-CONCEPT SMARTWATCH）

如前所述，已经考虑了一种广泛的方法来检测手的动作和活动。与之前几乎所有的手传感工作相比，我们特意选择了一个商品平台来进行我们的探索和研究。一方面，这是限制，限制磨损位置和宽度，我们可以带来这个具有挑战性的问题。另一方面，如果成功，它提供了一个即时和实用的手段来实现我们的愿景；制造商可以部署这种传感功能，略超过一个软件更新。
作为一个概念验证平台，我们使用了在我们之前的ViBand[39]研究中确定的智能手表和高速采样模式。Tis是一款运行Androrid磨损的LGW100智能手表（图2）。通过修改公开可用的内核[5]，就可以配置内置的MPU6515IMU，以便在4 kHz[30]下流化三轴加速度计数据。Tis数据流捕获粗糙的手的运动和方向，以及生物声学数据(高达2 kHz奈奎斯特极限)。

能量消耗

在穿戴系统中，考虑操作的变化将如何影响磨损寿命是很重要的。TeMPU6515数据表详细说明了功耗率。在200Hz时，功率抽取为147µW，而在4 kHz采样时，功率抽取为2719µW。虽然~18x的差异很大，但两者都是小值，在上下文中考虑它是很重要的。TeLGG手表包含一个1520兆瓦时的电池，这意味着2572µW每小时消耗的<占电池寿命的0.2%。
更难估计的是总功率负载，例如唤醒主应用处理器、在内存中移动数据以及将数据保存到持久存储。作为一个真实世界的测试，我们配置了5个LGG手表来连续捕捉高速加速度计。我们给了这些手表发给五名参与者，他们整天佩戴，晚上充电。在五天的时间里，我们记录了从手表开机到电量耗尽的电池统计数据。
在5天和5台设备中，平均烘烤寿命为7.1小时(SD=2.5)。鉴于我们的应用程序使主应用程序处理器保持清醒，我们相信，在商业实现中，一整天的电池寿命都是可以立即实现的。现在，移动行业的标准做法是使用低功耗协处理器（即“传感器集线器”）来读取、缓冲和处理连续的传感器数据(用于步数计数、lif解锁和语音关键字检测等功能)。

开源数据与代码

为了方便未来在这一领域的工作，我们提供了在兼容的安卓设备上进行高速加速度计采集的源代码。我们还提供了我们的研究数据和模型代码。htp://github.com/FIGLAB/hand-activities

实验一：当代手的活动

手是人类经验的中心，因此，一直是许多领域内的研究焦点，包括古生物学和解剖学[77]，语言学[48]和神经科学[76]，等等。民族志研究研究了从家庭生活到工业环境[3][37]，手是如何被使用的。许多手分类已经被提出，最常见的是由握力或通信原语[18]组织，它们大致分别与功能或表达用途相关（例如，见[21]的分类调查）。不幸的是，这一开创性的研究大多是在计算普及之前完成的。作为我们研究的起点，我们希望知道两个关键问题：
1)在现代世界中，人类用手做什么活动？有了这样的清单，我们希望集中精力我们的技术努力，并更好地了解对这些活动的识别在计算增强的设置中是如何有价值的。
2)不同的手部活动是否会产生特征信号？换句话说，手的活动是不同的和可分离的吗？智能手表中的商品传感器是否能提供足够的保真度来实现稳健的分类？

实验

为了探究这些问题，我们试图在野外收集一个随机分布的参与者的手部活动数据。虽然回顾性的数据收集方法（例如，调查，访谈）是相对容易部署，它们也受到自我选择和回忆偏差[36]的影响，特别是对于像手活动这样普通的事情。我们也考虑了观测方法，但这对于我们希望实现的部署规模来说是不切实际的。

相反，我们采用了一种经验抽样方法(ESM)[17]，它通过在原位[10]收集数据来减少偏差。我们使用了10款智能手表，在两周的时间里为50名参与者部署了一个定制的应用程序。我们使用了一个从当地人口中抽取的参与者池，涵盖了不同的年龄、性别和职业（25名女性，平均年龄26.3岁）。

我们的智能手表运行了我们开发的一个自定义的背景应用程序（图2）。在7到15分钟的随机睡眠间隔内，我们的应用程序偷偷捕捉10秒的加速度计数据。然后，Te应用程序会激活屏幕和振动马达，以捕捉佩戴者的注意。此时将显示一个简单的标签界面。初始屏幕提供了三个选项：忽略提示，将活动标记为定义错误（例如，不清楚，在活动之间），或继续标记手部活动。选择前两个选项中的任何一个都会导致应用程序返回到睡眠状态。如果选择了“标签活动”，下一个屏幕会问：“你的手在做什么？”提供了一个预先填充的活动列表，以及添加自定义标签的能力（使用配套的智能手机应用程序以方便输入），这些标签将添加到列表中以供将来使用。如果在任何屏幕上没有收到用户输入超过30秒，应用程序将返回到睡眠状态。

在部署之前，参与者完成了一个小时的设置和定位。对预先填充的手活动标签进行了回顾。参与者还可以根据自己的需要添加额外的标签。参与者还明确说明了他们不希望被实验干扰的时间（例如，晚上10点到上午8点）。按照这个方向，参与者在他们的主要手臂上佩戴智能手表两天（晚上取下充电）。参与者每天得到10美元，加上每个标签0.25美元，比基本工资最高得到15美元（即每天最多25美元）。该研究以一个30分钟的开放式访谈结束。参与者经常详细阐述了他们注意到的手部活动，但从未被手表的随机采样间隔捕捉到。

结果

我们的手表累计部署了100天（磨损950小时），在此期间他们捕获了5830个实例。其中，765例（13.1%）被标记为未定义的病例。剩下的5065个实例包含120个独特的标签。为了规范参与者的标签，一对人类编码员使用了一个共识合并方案。例如，“手”“在口袋”和“手在臀部”最终合并成一个统一的“手静止”标签，这是基本的手活动。它将唯一标签的数量减少到83个，如表1所示。

从我们的经验抽样研究中获得的见解和含义是多方面的。最重要的是，它证实了我们的假设，即人类的手从事令人难以置信的多样性活动。然而，有一些活动占主导地位：35%的标签是手仍然或闲置，接下来的4个最常见的标签比剩下的78个手活动加起来更常见。我们认为这对于手部活动感知来说是个好兆头，因为检测少数常见动作可以包含一天中的大多数手部活动（一个更容易的分类问题）。然而，也很明显，有一个不太频繁的活动的非常长的尾巴。其中一些可能是罕见的，但其他的可能是常见的，而且只是持续时间短，因此很少被我们的随机抽样方法捕获。

我们还发现了许多参与者没有分解成原子手活动的标签。我们所说的原子，是指那些不能被分解成不同阶段的事件。例如，吃和烹饪是常见的标签，但这些都是复合活动，包括各种原子手活动（例如，洗涤、切菜、混合）。我们的程序员也遇到了一些不明确的标签。例如，“开放麻烦”可能意味着扭转帽子或使用开口，我们认为这是不同的手活动（尽管有类似的目标）。这些分类包括在表1中。

显然，这个结果只是了解手部活动的不同景观的一个小窗口，在HCI和以后还有很多工作要做。尽管如此，这个结果足以为我们的假设奠定基础，并指导我们随后的技术工作。

手活动分类

根据我们的经验抽样研究的结果，我们继续建立了一个手部活动感知管道进行评估。它由三个关键阶段组成：感知、信号处理和机器学习。

感知

如前所述，我们的LGG手表软件捕获了手部的大致方向和运动，以及由手部活动产生的更高保真度的生物声学信息。一个专用的后台进程读取IMU数据，并以4 kHz的加速度计读数(X、Y和Z轴)填充三个256个长度的圆形缓冲区。这些爱好者通过~16FPS的蓝牙发送到笔记本电脑上，它维护一个更大的缓冲区，并执行额外的处理操作。

信息处理

4 kHz的采样率结合一个大缓冲（8192样本）允许我们的系统计算非常高分辨率傅里叶变换(4096箱0.5Hz分辨率)在短时间内——超过两秒的数据，这是关于如何快手过渡到新的活动。我们只使用了代表0-128Hz频率的较低的256 FFT的箱子，这在我们的ESM研究中发现了大多数人类活动的最佳特征。最后，这256个箱子被保存到一个48帧的滚动光谱图中，代表~个3秒的数据（图3）。三个加速度计轴的光谱图。

机器学习

管道的下一阶段是从信号中提取和建模父方。从我们的实验中，我们注意到重要的时空关系被编码在加速度计的三个轴上。例如，当擦拭桌子时，z轴大多是不受干扰的（主要是摩擦引起的生物噪声，但很少粗糙），而X和Y通道在表面滑动时经历低频振荡，通常是线性或循环运动。事实上，我们发现许多手活动产生了类似的独特激活父，可以通过足够的数据自动学习。

为了从我们的数据中学习，我们利用了一个卷积神经网络(CNN)架构[2]。具体来说，我们使用了VGG16[64]的一个变体，它修改了完全连接的层（图4，最后两层的大小设置为2000和500）。cnn已被广泛应用于视觉数据集（即宽度×高度×颜色通道），在我们的案例中，我们将手的活动表示为生物声学数据的时空斑块。具体来说，我们将加速度计光谱图堆叠为256个频率箱×48帧×3方向通道，作为CNN的输入。由于我们的通道的强耦合性质，这个设置迫使我们的架构学习跨轴关系。

为了从我们的数据中学习，我们利用了一个卷积神经网络(CNN)架构[2]。具体来说，我们使用了VGG16[64]的一个变体，它修改了完全连接的层（图4，最后两层的大小设置为2000和500）。cnn已被广泛应用于视觉数据集（即宽度×高度×颜色通道），在我们的案例中，我们将手的活动表示为生物声学数据的时空斑块。具体来说，我们将加速度计光谱图堆叠为256个频率箱×48帧×3方向通道，作为CNN的输入。由于我们的通道的强耦合性质，这个设置迫使我们的架构学习跨轴关系。

在我们的VGG16体系结构中，每个卷积单元都由四个子层组成：1)卷积算子，2)一个批处理归一化层[31]，3)一个校正线性单元(ReLu)激活层[53]，4)一个池化层[62]。我们还在第二个全连接层(p=0.4)的输出中添加了一个辍学层[64]，以减轻过度覆盖。图4提供了我们的网络架构的说明（显示了5个卷积单元中的3个）。Te网络是使用张量流(tensorflow.org)和Keras(Keras.io)实现的。为了鼓励复制，欢迎读者下载我们的数据集和模型代码（见第5节）。

实验二：验证

为了量化我们的手活动分类器的可行性和鲁棒性，我们进行了第二次用户研究。为了正确地验证我们的系统，需要一个可靠的基本事实。由于我们早期的经验抽样研究的无监督性质，不可能使用该数据集来进行准确性评估（尽管我们使用它来研究假阳性，稍后将进行描述）。相反，我们采用了一种“障碍课程”方法[6]——这种技术在过去的研究中已被可靠地用于提供地面真实数据收集，同时模拟自然活动和设置。为此，我们从我们的经验中确定的类中选择了25个原子手活动（图1和图3）抽样研究（表1，带有项目符号的项目）。我们放弃了一些无法通过实验捕捉到的频繁的手部活动，包括吃饭、烹饪和驾驶车辆。我们将最后的手部活动整合到参与者在佩戴智能手表的同时完成。

我们从一个公共参与者池中招募了12人（9名女性，平均年龄26.6岁），他们在90分钟的研究中获得了20美元的补偿。参与者被要求在他们的主要手臂上佩戴我们的智能手表。一旦感到舒适，“障碍课程”就开始了。课程的每个“圈”包括参观四个站点，进行体育活动，包括25个手部活动（随机顺序）。参与者进行每只手的活动至少为15秒，他们可以自由地进行他们认为合适的活动，捕捉到用户的自然变化。

参与者总共完成了我们课程的四圈，中间有三分钟的休息时间。这确保了数据收集轮之间的时间分离。此外，在第三圈和第四圈之间，参与者被要求取下并重新佩戴智能手表，以再次捕捉变化并减轻过度干扰（这在磨损的传感系统中很常见）。一个训练有素的观察者使用笔记本电脑接口立即标记数据。Tis进程为每个会话产生2500个标记实例，总共产生120K个实例。

结果

逐用户的精确度

为了评估加速度计是否提供了足够的信息能力来区分几十个手的动作，我们使用来自第一圈和第二圈的数据训练了一个模型，并使用从第三圈收集的数据进行了测试。在所有参与者和25个手部活动，我们的系统实现了每个用户的平均准确率为95.2%(SD=4.1，max=98.8%，机会=4%)。混淆矩阵见图5。

精确度 后处理

穿戴的传感系统经常被训练（或校准），然后测试从未从用户身上移除。这是人工制造的，因为大多数可穿戴设备每天都会被移除。由于对大多数磨损的传感器的放置敏感度，它也往往会导致人为的令人印象深刻的结果。实验效应可以通过明确地包括运动后收集轮来缓解，这不仅提供了更现实的准确性估计，而且还可以评估准确性下降。

使用与之前相同的模型（即在第1圈和第2圈进行训练），我们使用从第4圈收集的数据（即去除后）来评估准确性。总的来说，我们的系统达到了88.3%的平均准确率(SD=16.5，max=98.9%，概率=4%)。在图6中提供了Te混淆矩阵。摘除手表前后的准确性下降了6.9%，远低于我们的预期，这表明我们的信号和方法对放置变化是相当稳健的。我们强烈怀疑，如果在类似的手表拆卸/更换程序后收集了更多的数据，准确性将会反弹。

所有用户的精确度

为了回答商品智能手表加速计是否提供足够的信息能力来区分各种手部活动的核心问题，我们进行了一项重复折叠、交叉验证研究。例如，我们对第1、2和3圈的所有用户数据进行训练模型，然后在第4圈进行测试（即90,000个火车，30,000个测试实例）。我们对所有的单圈组合和平均结果。在所有参与者中，这个“所有用户”模型达到了90.7%的平均准确率(SD=2.2，概率=4%)。图7显示了混淆矩阵。

保留一个用户的准确性（跨用户）

最后，我们运行了一个留一用户的分析来调查跨用户的性能。在这里，来自一个参与者（第1-4圈）的数据作为一个保留集，而来自所有剩余参与者的数据被用于训练。我们对所有用户重复这个过程，并取结果的平均值。在所有参与者中，平均留一的准确率为79.2%(SD=6.4，max=84.8%)。与之前的结果（90.7%）相比，Tis下降了10%，后者模拟了一个包含一些每个用户的校准数据（即语料库的1/12）的通用模型。

假阳性排斥反应

在磨损的输入系统中——特别是以手为中心的系统——考虑拒绝假阳性事件的机制是至关重要的。为此，我们利用从分类器的软极大层输出的每个类的概念分数。当参与者进行（已知的）手活动时，排名靠前的类别平均置信度为98.0%，而排名第二的类别平均置信度为2%。显著的下降表明信心可能是一个很好的预测器。例如，如果最常见的类低于50%，我们的软件就可以将事件标记为未知事件。为了确定一个合理的确认阈值，我们使用我们的研究数据进行了一个模拟，将这个阈值从0变化到100%。图8所示的Te结果表明，当排名最高的类别的信心低于90%时，拒绝事件，提供了假阳性拒绝和错过检测之间的平衡。

除了上面的模拟，我们还进行了另一个实验，其中我们训练了一个“负”的模型从我们的经验抽样研究中提取的样本数据。更具体地说，我们随机选择了30K数据实例，参与者标记了手部活动，但不包括在我们的25个测试集中（包括驾驶、吸烟和化妆）。我们将这些不同的实例标记为一个“未知的”手部活动类。接下来，我们在未知的类数据集上执行了一个随机的80/20的训练-测试分割，然后将其添加到我们的所有用户模型的训练和测试数据集中。在再训练后，我们的模型正确预测（即拒绝）76.0%的未知活动，而总体准确率为87.9%。如果我们包括在之前的模拟中确定的证据阈值（证据>90%），总体精度为92.2%（未知检测为86.3%）。图9提供了这个混淆矩阵；请注意沿着Z列的混淆，我们将其用于未知类。

最后，我们还进行了聚类实验(t-SNE；基于输入数据的前3个PCA成分；图10)来可视化我们的信号的可辨别性，因为可以使用聚类技术来减轻假阳性，即与已知的手活动集群“遥远”的事件被拒绝。基于距离的方法也可以用来捕获负面的例子数据，或者提示佩戴者的标签，以便将来识别。

采样频率vs精度

我们进行了最后一个事后实验来研究加速度计采样频率对分类精度的影响。为此，我们创建了原始4 kHz数据的降采样版本，以模拟较低的采样率：2 kHz、1 kHz、500Hz、250Hz和125Hz。与我们的4 kHz数据一样，这被划分为三轴，0-128Hz，三秒的光谱图。我们对每个样本率进行了交叉圈验证（一轮训练，其余轮测试，共4轮），并结合结果，如图11所示。随着样本率的降低，Tere的精度明显单调下降，在500Hz左右有一个明显的悬崖。

工作的局限性

我们的技术最直接的限制是需要在活动的手臂上佩戴智能手表。通常，这将是佩戴者的主要手臂，而手表更常佩戴在被动手臂上。然而，检测仍然适用于双手活动，如鼓掌、洗手或打字。在被动臂上的事件是我们计划在未来工作中探索的一个领域。我们还注意到，我们没有探索同时进行的手部活动，尽管这些似乎很少为一只手。

我们也承认，我们评估的25项手部活动，虽然对于识别研究来说很大，但却只是我们在现实世界中使用手臂和手的方式的一小部分。正如之前报道的，有一个非常长的尾巴，肯定很难区分。我们建议未来的工作集中在可以从计算支持中受益的特定活动上(例如，上下文感知辅助[14][38][39][44][58]、吸烟脱离[11]、老年人护理[19][59][68]、手臂振动综合征(HAVS)[68][69]、RSI[8]类型)。幸运的是，随着分类器变得更加健壮（可能是通过消费者智能手表的大规模采用），无线更新可以逐步解锁对新类的识别。

最后，如前所述，我们的fft使用长窗口，既可以减轻噪声，也可以捕获较低频率的高分辨率光谱数据。因此，我们在识别事件时，会招致几秒钟的延迟惩罚。对于扩展的活动，比如吃饭，分类可能会触发设备进入“不打扰”模式，几秒钟的延迟是可以接受的。然而，对于短时间的活动，比如操作电视遥控器，用户会希望快速提取相关信息（例如，做出有关娱乐的决定）。未来系统可能希望使用具有可变类置信阈值的较小窗口，以支持较长和较短持续时间的手部活动。

示例使用领域

使用商品智能手表进行手的活动识别适用于广泛的应用场景，这在之前的研究中已经有了很好的动机。我们相信，我们的工作指向了一种更实际的方法，使这些用例更接近可行性。

细粒度手活动感知的一个明显用途是个人信息学[33]。手活动是一个细粒度的上下文通道，自然补充移动状态[9]。细粒度的活动追踪(例如，洗手、刷牙-图12，A&B)已被证明可以推动用户走向更健康的生活方式[16]，并激发个人反思和社会促进[22]。一个知道手在做什么的系统也可能有许多与健康相关的应用程序。例如，智能手表可以跟踪用户的打字行为，以防止重复性应变(RSI)[8]。同样地，智能手表也可以跟踪戒烟机制[11]中的吸烟情况，或监测建筑工人使用的工具，以防止手臂振动综合征(HAVS)[68][69]。老年人护理监测系统[19][59][68]也可以利用这个新的和微妙的信息源。

对自动技能评估[34][67]也有了有趣的研究。之前的工作包括音乐技能习得[78]，运动表演[52]和康复[4]。自动评估可以为现场反馈和技能水平的评估[67]创造机会。甚至有可能随着时间的推移检测技能退化，以及运动障碍如帕金森症。

最普遍的情况是，手的活动识别可以解锁更丰富的、上下文敏感的应用程序[14][38][39][44][58]。细粒度的手活动序列也可以用来推断更高层次的人类活动。例如，装满一个小桶，打开炉子，然后倒上水壶，可以表明用户喝了一杯茶。然而，如果手的活动发生在无序的地方(例如，倒注水煮沸前)，它可能暗示，例如，[40]痴呆的发作。手部活动在增强衡量人类可中断性[25][29]的方法方面也很有价值，例如在用户用刀切刀时延迟通知(图12C)。

总结

我们相信，了解手参与什么活动来支持辅助计算经验是很有价值的。在本文中，我们研究了使用商品智能手表进行这种感知的可行性，这是实现这一愿景的一种即时实用手段。我们的探索从野外部署开始，最终以对照实验室研究告终。我们的分类管道在25个手部活动中显示了95.2%的准确率，并可以以86.3%的准确率拒绝未知的手部活动。在很高层次上，我们相信这些结果使上下文响应应用程序的前景更接近现实，特别是当我们的方法不需要外部基础设施或对象的工具时。