我们提出了DualRing，一种新型的环形输入设备，可以捕捉用户的手和手指的状态和运动。在用户的拇指和食指上安装了两个IMU环，DualRing不仅可以感知相对于地面的绝对手势，还可以感知手部节段之间的相对姿态和运动。为了实现拇指与手指的自然相互作用，我们开发了一个高频交流身体接触检测的电路。基于DualRing的感知信息，我们将其划分为三个子空间：手内交互、手对表面交互和手对对象交互。通过分析我们的系统的准确性和性能，我们展示了与基于单环的解决方案相比，双环在感知综合手势方面的信息优势。通过用户的研究，我们发现dual环所支持的交互空间因其可用性、效率和新颖性而受到用户的青睐
介绍
随着输入技术的发展，可穿戴环形设备因其可用性和便携性而越来越受欢迎。智能环具有不同的传感器（如相机[4]、红外接近传感器[20]和惯性测量传感器[27]），具有捕获丰富的手和手指信息的潜力，因此在VR、AR、物联网等各种交互场景中非常有用。
与手套状设备[47]、指甲状设备[5]和手指[52,53]上的触摸箔相比，环形设备更轻、更灵活，并获得更好的社会接受[27]。然而，受形状因素和尺寸的限制，单个环的传感能力受到限制。它只支持特定应用程序的单一交互模式（例如，对受限制的手势集[4,48]进行分类，检测触摸事件[13,27]等）。由于在表单设计的简单性和感知能力之间总是存在一种权衡，因此找到一个帕累托最优性来实现丰富的手输入语义，同时减少侵入性是非常重要的。
在本文中，我们提出了一个由两个惯性测量单元(IMUs)和一个高频交流电路组成的双环环输入装置。将两个IMU环固定在用户的拇指和食指上，DualRing可以感知丰富的手信息，包括身体接触信号、手的方向和姿势、拇指和手指之间的相对运动，以及手的惯性特征。
为了检测身体上的接触信号，我们建立了一个交流电路，通过相位延迟相关值(PDRV)来测量拇指和食指之间的阻抗。为了估计拇指和食指的方向和相对运动，我们首先计算每个IMU的旋转矩阵，然后计算相对旋转矩阵。技术上的困难是环境磁干扰不容忽视。为了解决这一问题，我们开发了一种新的基于最小二乘优化的近似方法来优化坐标映射。并深入设计了时域的统计特征和两个imu之间的相对特征，以提高手势识别的精度。
DualRing提供了丰富的手信息，以支持一个广泛的手交互空间。我们概述了交互空间，并将其划分为三个子空间：手内交互、手到表面交互和手对对象交互。我们提出了每个子空间中的基本操作符和交互技术，证明了双环的强感知能力。我们进行了一个实验来评估双重环识别不同手势集的性能，并分析了不同手势集中不同特征的显著性。我们的用户研究表明，用户更喜欢DualRing的交互模式和应用程序所提供的可用性、效率和新颖性。
综上所述，我们的贡献有三个：
- 我们提出并实现了一种新型的环形输入装置，通过一种新的传感方法，混合阻抗测量和双imu来感知丰富的手势和运动。
- 我们概述了双重环所支持的广泛的交互空间和子空间，展示了它在细粒度和具有表达性的手势交互以及应用程序方面的多功能性。
- 我们展示了双环的感知信息与单个IMU环相比的信息量和完整性，并通过用户研究评估了双环识别手势的性能。我们还证明了dual环所支持的交互技术受到用户的青睐
在我们论文的其余部分中，我们首先回顾了之前在环状设备、身体上传感技术和手/手指交互方面的工作。然后我们说明了双环的技术细节和实现。我们带着上概述交互空间，将其划分为三个子空间，并设计每个子空间的交互技术。然后，我们进行实验，分析双环在不同手势集下的识别性能，然后进行非正式的用户研究，调查用户对不同手势的主观偏好。最后，我们讨论了与部署、算法优化和形式确定中的考虑有关的重要问题。
相关工作
- 戒指状的输入设备
- 身体上的感知技巧
- 手内的微妙的交互
- 全手感知与识别
DualRing：技术细节和实施
在本节中，我们将介绍DualRing的传感目的以及技术细节，包括硬件设置和传感算法。我们解释了如何1)实现稳健的拇指到手指的接触感知，2)计算处理环境磁干扰时的相对姿态，3)基于同步IMU特征的各种场景下的感知手势和手的状态。
技术概况
在介绍技术细节之前，我们首先介绍了双环的传感目的。总体工作流程如图2所示。DualRing由戴在用户拇指和食指上的两个imu环和一个测量拇指和食指之间阻抗的高频交流电路组成。交流电路检测拇指对手指的接触信息，包括是否有拇指对手指的触摸发生，以及拇指正在触摸哪个手指。这两个imu分别代表拇指和食指近端指骨的态度。当梳理两种姿态时，可以获得拇指和食指之间的相对姿态（用旋转矩阵表示）。通过参数化近似，相对姿态被映射到期望表面上的二维坐标（例如，食指的尖端），从而实现精确的光标映射。此外，还可以提取两个imu的同步时间和统计特征（包括个体特征和相对特征）进行手势分类。我们将在下面说明技术细节。
拇指对手指的接触检测
为了实现灵敏和准确的拇指和手指之间的交互，我们需要一个健壮的身体触摸探测器。由于人体是传输高频交流信号的良好导体，我们建立了一个交流电路，通过测量拇指和食指之间的阻抗来检测触摸事件。
传感原理。
”频率足够高的电流，必须考虑到“[33]”。以往的工作已经证明了人体是高频交流信号传输[33] 的良好介质。交流信号通过连接到电路的人体不同部分。当一个人改变身体姿势时，身体的总阻抗因此发生变化（主要是由于电路结构和电路元件[43]的变化），从而导致整个电路的电特性发生变化。由于身体触摸会在电路中形成另一条连接路径，因此可以根据信号幅度和相位延迟识别体触摸事件，改变电路结构。
电路实现。
我们建立了一个阻抗测量电路来检测接触行为。为了测量通过人体的信号的振幅和相位延迟，我们首先创建了两个高频源信号𝑠𝑟𝑒𝑓和𝑠𝑚𝑜𝑛的同步副本。假设参考信号is𝑠𝑟𝑒𝑓=𝐴1𝑐𝑜𝑠（𝜔𝑡+𝜙1），和通过人体的监测信号为𝑠𝑚𝑜𝑛=𝐴2𝑐𝑜𝑠（𝜔𝑡+𝜙2）.通过将参考信号与监测信号相乘，我们得到了一个由一个高频分量和一个低频分量组成的信号𝑆。
然后，我们将𝑆通过一个低通滤波器，得到参考信号和被监测信号的相位延迟相关值𝑃𝐷𝑅𝑉=𝐴1𝐴2 2𝑐𝑜𝑠（𝜙1−𝜙2）。通过对PDRV进行重采样，我们可以得到被监测信号𝐴2的峰值振幅以及两个信号的相位延迟𝜙1−𝜙2。在我们的工作中，我们只使用信号振幅来检测接触行为。当拇指触摸到不同的手指时，电路组件的变化会导致信号振幅的变化。因此，该电路不仅可以检测接触行为，还可以区分拇指触摸的是哪个手指。
整体电路架构如图3所示。
硬件原型
在我们的硬件原型中，我们使用一个AD9959合成器(4通道，500MHz DDS与10位DACs)来产生两个通道的同步12.5MHz正弦信号。一个被用作参考信号，而另一个（被监测的信号）通过两个由铜带制成的电极传输到体内。如图1所示，电极分别连接拇指和食指近端指。我们使用ad835 4象限乘法器将参考信号和监测信号相乘。输出信号用一个操作后放大器放大了10倍。然后我们连接输出信号发送到一个简单的低通Pi滤波器(由两个100pF电容器和一个100𝜇𝐻电感器组成)，以去除高频分量。最后，我们使用ArduinoMega2560对滤波信号的振幅进行采样，然后使用100帧宽的滑动窗口平均滤波器，输出平滑信号振幅序列。一个输出信号样本如图4所示。信号通过USB串口从1 kHz的Arduino传输到PC。
相对态度估计
使用两个9轴IMU进行手姿态感知的一个鼓舞人心的动机是，其中一个IMU提供了参考坐标，因此与地面无关的相对坐标，更好地代表手姿态，可以自然地从两个IMU的数据中计算出来。
姿态估计。
在我们的工作中，两个imu的态度是用欧拉角表示的。注意，陀螺仪数据的积分将导致计算欧拉角的累积误差，应用卡尔曼滤波器[45]用加速度计校正滚动和俯仰角（x轴和y轴），用地磁计校正偏航角（z轴）。
我们使用方向余弦矩阵22来表示姿态，或者从零姿态旋转（公式2、𝜙、𝜃、𝜓分别表示滚动、俯仰角和偏仰角，顺序是偏仰角）。
我们表示参考IMU(例如，食指上的IMU)𝑀𝑟上的DCM和显性IMU(例如，拇指上的IMU)𝑀𝑑上的DCM，两者都具有相同的零态度。则从主坐标到参考坐标𝑀𝑅的相对旋转矩阵可以表示为：
对于主坐标中的任何向量𝑣=（𝑥0，𝑦0，𝑧0）𝑇，𝑀𝑅𝑣=𝑀𝑟−1𝑀𝑑𝑣在参考坐标中表示相同的向量。假设（𝑒1，𝑒2，𝑒3）=𝐼是主坐标中的标准正交基向量，我们发现（𝑒1‘，𝑒2，𝑒3）=𝑀𝑅是参考坐标中的标准正交基向量。对于任何向量𝑣，它都可以表示为𝑒1‘、𝑒2’、𝑒3‘的线性组合。目的是找出将𝑀𝑅映射到二维正交指尖坐标的线性因子。设（𝑒𝑖，𝑒𝑗）为目标二维坐标中的基向量，𝑣0为主导坐标中的方向向量。然后，我们可以通过以下方法来计算目标（𝑥，𝑦）：
通过对多个数据点进行采样，我们可以拟合未确定的系数𝑒𝑖、𝑒𝑗、𝑣0。
处理磁性干扰。
当用户的手靠近强磁场源（例如笔记本电脑或智能手机）。磁场的变化会导致偏航角的计算出现显著的偏移和延迟。因此，我们修改了我们的近似策略，以适应这个场景，如下所示。
请注意，（𝑥，𝑦）不仅是一种二次形式，而且也是𝑀𝑅系数与9个dof的线性组合。为了提高表达性，我们引入了额外的参数，并将参数重新组织为一个简化的不受限制的线性形式：
，其中𝑝𝑖、𝑗、𝑞𝑖、𝑗为未确定参数，𝑚𝑖、𝑗为𝑀𝑅中的元素。通过这种修改，系数空间扩大到18个自由度。
我们采用最小二乘优化法来学习参数。我们的目标不是直接学习绝对坐标（𝑥，𝑦），而是学习差异，或相对运动向量（Δ𝑥，Δ𝑦），因为相对运动被用户更好地感知和执行，而不是在指尖上的绝对位置。假设𝑆ℎ={（𝑀1𝑖，𝑀2𝑖），𝑖=1,2，···，𝑘}是所有水平采样对的集合，𝑆𝑣是所有垂直采样对的集合。(采样对（𝑀1𝑖，𝑀2𝑖）是由方程3计算的起始点的相对DCM。水平样本对表示起点和终点形成水平基向量（1,0）𝑇，而垂直样本对表示表示垂直基向量（0,1）𝑇的对。)进行优化的目标损失函数可表示为：
，其中𝜆(I1≤𝑖，𝑗≤3（𝑝2𝑖，𝑗+𝑞𝑖，𝑗2）)是一个防止过拟合的调节术语。通过最小化损失函数𝐿，我们得到了优化后的参数𝑝𝑖、𝑗、𝑞𝑖、𝑗。
原型实现。
我们使用两个MPU9250(9轴IMU)进行手姿态估计。每个IMU都连接到一个微控制器，在其上实现了一个内置的卡尔曼滤波器。过滤后的IMU数据（3轴加速度、3轴陀螺仪数据和3轴对每个IMU的3轴地磁数据）通过UART(200Hz)（通用异步接收机/发射机)以115200波特率）传输到PC。PC上的算法管道已经用Python实现了。我们使用Numpy库进行矩阵计算，使用Scipy库进行参数求解。数据接收和数据处理过程是异步的。整个管道（包括数据接收和数据处理）的FPS为200。
基于融合特征的手势识别
DualRing提供了来自两个imu和交流电路的同步数据。为了更好地利用多源数据来识别不同的手势，我们进一步探索了特征设计。我们从原始数据中提取了两类特征：时间统计特征和相对特征和同步特征imus。设（𝑎𝑐𝑐1，𝑔𝑦𝑟1、𝑎𝑛𝑔1，𝑚𝑎𝑔1；𝑎𝑐𝑐2、𝑔𝑦𝑟2，𝑎𝑛𝑔2，𝑚𝑎𝑔2）为由两个IMUs的3轴加速度、3轴角速度、3轴欧拉角和3轴地磁场组成的数据帧𝑓。
时域中的统计特征。
时间特征和统计特征对于表明一个在时域上具有显著特征的过程是很重要的。我们首先计算9个统计特征：均值、标准差、最大值、最小值、能量、倾斜、倾斜峰度、零交叉率、一阶差，然后使用FFT计算每个维度（共24个维度）的帧序列谱[𝑓1，𝑓2，···，𝑓𝑁]。将统计特征和频谱与原始帧序列连接，形成一个融合的特征向量。
imu之间的同步特性。
我们还对来自两个imu的同步数据所产生的相互特征和相对特征很感兴趣，包括差分信号的相关性、相对姿态和频谱。
- 相对姿态和旋转矩阵。对于每一帧，相对旋转矩阵可以表示为𝐷𝐶𝑀（𝑎𝑛𝑔1）−1·𝐷𝐶𝑀（𝑎𝑛𝑔2），并由方程4计算。然后将旋转矩阵平坦为一维特征向量。差分信号的
- 频谱。我们首先将传感器数据（加速度、角速度和地磁场）归一化为与姿态的相互地面坐标。然后我们计算两个imu在每个维度上的信号差，并计算一个时间间隔内每个维度的频谱。
- 余弦的相似性。对于任意两个向量𝑣1，𝑣2，它们的余弦相似度为𝑐𝑜𝑠（𝑣1，𝑣2）=𝑣1·𝑣2|𝑣1||𝑣2|。我们计算了两个imu在各维数上的时域上的余弦相似度。
识别算法及实现。
在获得统计特征、光谱和相对特征后，我们训练一个随机森林分类器（估计器数量=500，最大深度=10）来识别手势。请注意，由于来自不同手势集的手势对不同的特征具有不同的显著性，因此在确定最终模型之前，将应用一个特征选择阶段。
特征提取、特征选择和模型训练阶段在Python(用于特征提取的Numpy库、用于特征选择和Scipy库的特征选择和模型训练)中实现。在Inteli7-6700HQCPU(2.6 GHz，1个线程)上运行的对样本进行预处理并输出预测的FPS为30(预处理为9 ms，模型预测为24 ms)。
设计空间及应用
双手环为感知手的姿势和增强手的输入提供了四种独特的好处。首先，对偶imu可以自然地表示两组坐标——地面坐标和相对坐标。地面坐标被用来表示相对于地面的手势，而相对坐标则表示与地面无关的手的内部手势。第二，通过结合接触检测电路，双重环可以支持自然的拇指到手指的触摸输入。第三，通过在拇指和食指上安装imu，DualRing可以感知相互作用的手段（如触摸的手指）和不相互作用的手段，因此有可能诱导全手手势。第四，可以独立地检测到拇指和食指的微振动，从中可以识别出更复杂的手势（例如，一个扣人心弦的手势）。这些优点为基于环的手的交互提供了丰富的交互空间。我们将设计空间分为：1)手内的交互，2)手到表面的交互，3)手到对象的交互，如图5所示。
手内交互作用
手内的互动主要包括拇指和其他四个手指之间的互动。由于dualring提供了拇指和食指的准确方向数据，以及接触点拇指和其他手指之间的信号，它可以支持各种类型的原始拇指到手指操作器，包括捏捏、连续光标控制、区域选择、滑动和图案绘制，如图5(a).所示
捏
捏是触发最自然的手势。使用DualRing，用户可以在三种状态下执行挤压手势：接触、非接触和点击。DualRing根据采样信号振幅对接触和非接触状态进行分类，同时通过检测信号谱中的脉冲来识别点击状态。此外，由于DualLing可以通过测量信号振幅来显著区分哪个手指，因此用户可以用不同的手指进行捏，从而触发不同的功能(图5(a)1)。特别是，双指可以用不同的手指区分三种类型的挤压：拇指到食指，拇指到中指，和拇指到无名指。触摸小指时的振幅变化并不显著。
连续光标控制。
双指检测拇指和食指的方向和运动。通过我们的参数化近似方法，DualRing可以完美地检测瞬时相对运动，并将其映射到二维坐标，从而实现精确的二维连续光标控制。基于精确的二维光标，双可以支持各种应用。
- 手指垫。其中一个直接和最强大的应用程序是手指垫，它充分利用了二维连续运动信息(图5(a)2)。用户的食指会变成一个触摸板，用拇指在食指上滑动，以执行光标输入。在身体接触检测电路的支持下，普通触控板的所有输入模式，包括触摸、点击和滑动，都可以通过DualRing启用的手指板完美模拟。此外，用户可以选择启用不同手指上的多个手指垫来控制多组光标（例如，拇指到食指的垫来控制运动，拇指到中指的垫来控制视频游戏中的视角）。
- 手指滑块。用户可以用拇指在手指上滑动，为一维滑块提供输入(图5(a)3，例如，控制亮度或音量)。此外，用户可以将不同的滑块功能分配给不同的手指，从而可以同时控制多个滑块。
- 图案图形。绘制模式也是一种流行的以自然的方式传达丰富语义的输入方法。用户可以映射不同的值可以通过画一个矩形来唤醒。用户还可以画一个三角形来触发音乐播放器的“播放”(图5(a)4)
绝对区域选择。
由于磁干扰和卡尔曼滤波的延迟，双星很难确定精确的绝对坐标。然而，基于方向数据，DualRing可以检测粗粒度的绝对坐标，这有利于需要离散键盘输入的应用程序。例如，在拨号应用程序中，用户可以将四个手指放在一起，用拇指触摸不同手指的不同方阵，如在数字板上拨号(图5(a)5)。用户也可以自然地在手指上键字，就像在T9键盘上键字一样。
光线相互作用。
双环还可以交互相对于地面的方向和运动。参考环（例如，戴在食指上的戒指）在现实世界中提供了地面方向（就像一条射线），而拇指可以产生离散的（例如，触摸食指）或参数化的（例如，改变拇指-食指的角度）输入。这种交互方案对于不同的3D场景，如VR、AR和物联网尤其有用。例如，在一个智能教室中，老师使用他的食指作为一个虚拟指针(图5(a)6)。老师可以用拇指敲击食指来切换指针模式，或者改变拇指-食指的角度来放大/缩小。在VR或AR中，射线相互作用在指向和元素操作方面也很有效。
手对表面相互作用
当用户与一个平面表面进行交互时，使用不同的手势是表达不同语义的一种自然而有效的方式。与佩戴食指戴IMU戒指相比，DualLing可以感知触摸手指和非触摸手指的状态和运动。因此，它有潜力检测到整只手的状态，并支持更大范围的手势集，如图5(b).所示
表面检测。
先前的工作已经证明，通过用钉子安装的加速度计[35]观察微振动来检测手指和静态表面之间的接触的可行性。在我们的工作中，DualLing利用了两个独立的imu，它可以分别感知拇指和食指的微振动，从而有可能检测四种类型的接触：非接触、食指接触、拇指接触和手掌接触。丰富的接触类型允许更广泛的交互设计。例如，在一个素描板应用程序中，用户可以将一个正常的表面变成一个素描板——用户可以使用食指作为笔，拇指作为橡皮擦，同时使用手掌接触手势来复制和粘贴。这可以通过检测表面触摸/接触信号作为触发器来实现，同时将食指和拇指的独立姿态（或方向）映射到二维坐标（类似于射线交互作用）。用户还可以在物联网场景中使用接触手势，例如，当用户坐着并将手掌放在桌子上时，灯就会打开(图5(b)1)。
表面手势。
双不仅可以检测静态手状态，还可以检测与曲面交互的动态手势。最常见的手对表面的手势是一个敲击的手势。我们证明，用五个不同的手指敲击会导致双环信号的不同特征，因此是可区分的。有了这种能力，DualRing可以在任何表面上进行五指敲击输入，支持各种应用程序，如任何表面类型(图5(b)2)、钢琴演奏(图5(b)3)和远程控制。
主导手势和控制手势的结合。
DualRing提供了触摸手指和非触摸手指的信息。我们将与平面交互的直接手势定义为主导手势（例如，用食指触摸表面），而非触摸手指的手势则被视为控制手势。根据这样的定义，另一个直观的探索是主导手势和控制手势的结合。控制性的手势可以进一步分为离散的手势（例如，拇指敲击食指）和连续的手势（例如，拇指在食指上滑动，拇指和食指之间的角度等）。这种组合扩展了复杂、多步骤、多参数手势的设计空间。例如，在用食指触摸平面后，用户可以用拇指在食指上向后滑动来执行“复制”，同时向前滑动执行“粘贴”(图5(b)4)。
手对对象交互
DualRing支持的另一个重要子空间是在现实场景中与不同的对象交互。可以感知到表面上的抓握事件和手势，允许用户与普通物体互动，如瓶子、盒子或球，如图5©.所示
抓地力识别。
作为检测手指和静态表面之间接触的延伸，我们设想并证明了在空中抓住物体的事件可以被DualRing检测到。当用户握刚性物体时，握手指的微振动可能是同步的。DualRing可以从加速度参数中捕获同步的微振动信号，从而准确地识别抓握手势。DualRing不仅可以检测用户是否在夹持一个对象，而且还可以通过合并方向数据来区分夹持对象的形状。抓握信息有利于物联网和AR场景中的被动感知和交互。例如，当用户抓起和举起一个物体时，它的信息将被实时呈现在AR眼镜中(图5©1,3)。
对象上的交互。
一旦DualRing检测到用户夹住一个对象，它就会将夹持对象的表面变成交互界面。曲面上带有单击和滑动等基本操作数。抓握对象和表面手势的结合形成了一个很大的交互空间。例如，在智能家居场景中，用户可以拿起一个像盒子一样的物体作为遥控器，向左/向右滑动来切换电视频道，向上/下来控制音量。用户可以拾起另一个瓶子状的物体，上下滑动来控制房间的亮度(图5©2)。
系统评价
在本节中，我们将评估DualRing在三个子设计空间中识别不同手势的表现。与单个IMU环相比，我们证明了双信息的信息性和完整性。
手势设置
我们想要评估的手势集包括：
- 捏手势（手内）。参与者用拇指触摸不同手指（食指、中指、无名指、小指）的牙髓，如图6(a).所示共4个班。
- 滑动手势（手内）。参与者在四个方向（上、下、左、右）敲击食指指尖，如图6(b).所示共4个班。
- 触摸不同的手指节段（手内）。被试用拇指触摸不同手指（食指、中指、无名指、小指）的不同指骨（远端指骨、中指骨、近端指骨），如图6©.所示共计12个班。
- 接触手势（从手到表面）。如图6(d)所示，参与者进行四种类型的接触手势（与不同的手段的平面保持接触）：非接触、食指接触、拇指接触和手掌接触。
- 点击手势（手动操作）。参与者如图6(e)所示，用不同的手指（非敲击、拇指、食指、中指、无名指和小指）进行敲击手势。共6个班。
- 抓住的手势（手到物体）。参与者首先执行一个不扣人心弦的手势，然后按顺序抓住以下物体：盒子、瓶子、鼠标和笔(如图6(f)所示)。共5个班。
参与者和设备
我们从当地校园招募了14名参与者（8名男性，6名女性）。平均年龄为21.0岁(SD=为2.04)，所有参与者均为右撇子。我们使用第3节中描述的原型系统来收集数据。两个imu和交流电路的数据通过一个数据采集线程同步获取。整个系统的采样率为200FPS，两个imu之间的延迟始终在25 ms（5帧）范围内。
数据收集
在研究开始时，我们指导参与者正确地戴上环，帮助他们调整松紧度，使环既不会太松也不会太紧。(每个环都是用一条灵活的金属条制成的。参与者可以通过弯曲金属条的末端来调整紧密性。)数据收集过程包括6个会议。在每个环节中，参与者被要求依次收集第5.1节对应的手势数据（6个手势集，共31个手势）。
我们设计了一个图形化的交互式程序来指导实验。在每个会议开始时，一个一般的文本描述被显示来介绍会议中的手势。在记录一个特定的手势中，参与者被要求在按记录键时执行这个手势。对于短暂的手势（包括滑动手势和敲击手势），参与者被要求在按键的同时执行手势。为了指导这个过程，屏幕上显示了一个实时视频演示，同时还有一个计数器小部件和一个倒计时小部件，指示剩余的任务和剩余的时间。
对于捏捏手势和区域选择手势，每个参与者执行每个手势1次，每个动作持续25秒。对于接触手势和握住手势，每个参与者执行每个手势5次，每次持续10秒。对于敲击手势和滑动手势，每个参与者都执行了每个动作手势100次，每次需要1秒。每个参与者的整个数据收集过程大约需要1个小时，每个参与者将获得15美元的参与报酬。
值得强调的是，敲击和滑动是在0.5秒内发生的短暂手势。我们为这些短暂的手势收集了更多的试验（100），以收集更多样化的同步数据。对于非瞬态手势，我们收集的试验更少，但每次试验持续的时间更长（例如，10秒）。对于后者，我们还要求参与者在试验中积极移动他们的手（例如，旋转手，弯曲和轻微摩擦手指），同时保留所执行的手势，以增强数据的多样性。然后，我们将每个试验采样到多个片段作为数据点。因此，我们对不同类型的手势采用了不同数量的试验。
单个数据集的结果
我们分析了不同手势集的识别精度和信号显著性。对于捏捏手势，我们使用最近邻算法进行分类。对于滑动手势，我们使用余弦相似度度量来进行分类。对于触摸手指片段、接触手势、点击手势和抓住手势，我们采用了第3.4.3节中所述的随机森林分类器，并使用第3.4节中的所有特征作为特征输入。
固定手势。
我们只通过交流信号来识别挤压手势。由于不同参与者的阻抗不同，我们根据每个参与者自己的数据分别评估每个参与者。对于每个参与者，我们为每个手势的前10%帧（500帧）进行采样，作为参考振幅。然后，我们基于一个简单的最近邻算法对从剩余帧中采样的测试样本进行分类。我们从每个手势的其余90%帧（4500帧）中随机抽取（每个样本的起始帧是随机抽取）100个测试样本（每个样本由50帧组成）。我们通过平均样本振幅和计算到同一参与者的每个参考振幅集的距离来对每个测试样本进行分类。4类分类（非捏指、食指、中指、无名指）的准确率为97.36%(SD=2.83)，5类分类（+小指以上的4类）的准确率为91.11%(SD=4.02)。触摸食指、中指、无名指、小指的信号振幅变化分别为27.39%(SD=5.60)、8.23%(SD=2.52)、3.97%(SD=1.13)
滑动手势。
我们使用交流信号来检测身体上的接触，并使用两个imu的数据来估计滑动方向。我们根据每个参与者的校准参数分别对他们进行了评估。我们首先应用第3.2节中描述的参数估计方法，使用每个参与者自己的校准数据，将欧拉角映射到二维坐标上。对于任何滑动向量𝑣，我们首先计算参与者的标准正交基向量𝑣1和𝑣2计算内积。然后根据余弦相似度对向量进行分类。该分类的准确率为99.37%。四个方向上的平均角误差及其偏差见表2。
触摸不同的手指部分。
正如我们所观察到的，由于参与者的双手之间的结构差异（例如，不同手段的长度）和行为差异（例如，一些参与者更喜欢伸展拇指，而另一些参与者则更喜欢弯曲手指进行触摸），融合了数据来自训练阶段的不同参与者会对预测有不好的影响。为此，我们采用了一个参与者内部的验证过程来评估分类的准确性。对于每个参与者，我们均匀地抽样了100个×12（类）=1200个样本（每个样本包含10帧）。我们对每个手势（960个样本）的80%数据进行训练随机森林模型，并对个体参与者的其余20%数据（120个样本）进行测试。在不合并交流信号的情况下，总准确率为89.57%(SD=5.01)，加入交流信号的准确率为93.70%(SD=5.26)。
联系手势。
我们应用了一个留一用户退出的交叉验证过程来评估接触手势分类的性能。由于交流信号的变化，我们只使用IMU数据进行分类，并不显著。对于每个参与者，我们从每个类（总共5个类）中均匀地抽取了100个样本（每个样本包含80帧）。不同传感器使用情况的分类精度见表1。我们发现，在使用双imu和删除其中一个imu之间存在显著的精度差距(93.24%v.s。80帧时为67.47%/62.74%)。与单个IMU相比，DualRing具有正确识别整个手的接触手势的潜力，但使用拇指佩戴或食指佩戴的IMU可以在一定程度上识别特定手指的接触手势。
点击手势
对于点击手势识别，我们评估了识别是否执行了一个点击（2个类）的准确性，以及进一步区分哪个手指正在点击（6个类）的准确性。在此会话中只使用IMU数据。对于每个参与者，我们对每个点击类的每个试验的数据进行了预处理（总共100个试验，×5个类）。我们首先计算出加速度的最大值（其指数为𝑝）作为精确的攻丝点，然后在(𝑝−20，𝑝+20]范围内对帧进行采样，以确保瞬态手势的对齐。我们从非点击类中随机抽取500个样本（每个样本包含40帧），从点击类中抽取外围帧进行2类评估，并抽取100个样本进行6类评估，以确保模型平衡。表1显示了不同传感器使用时的点击分类和手指分类的准确性。对于轻击分类，使用两个IMU相比，使用单一IMU没有显著的改善，因为一个IMU足以从轻击尝试中捕获振动信号。然而，DualRing在分类哪个手指正在敲击方面显著优于单个IMU(82.71%v.s。40帧时为59.47%/66.53%)。结果表明，我们发现虽然Dualling只将imu附着在拇指和食指上，但它有可能推断出其他手指的状态和运动，得到良好的分类结果。
抓握手势
我们通过留一交叉验证来评估对抓握的手势的识别。在此会话中只使用IMU数据。对于每个参与者，我们从每个类（总共5个类）中统一抽取100个样本（每个样本包含200帧）。识别结果如表1所示。从结果来看，我们观察到与使用单IMU相比，使用双IMU的准确性显著提高(82.35%v.s。在200帧时，数据为63.92%/61.81%)，显示了来自双imu的数据在感知抓握式手势方面的信息量
不同的手势集的组合
正如交互空间中所概述的那样，来自不同手势集的手势可以有机地组合来表示更复杂的语义（例如，一个扣人心弦的手势和一个敲击手势）。虽然这样的过程可以是以一种循序渐进的方式实现，这意味着在每一步中，模型只识别来自单个集合的手势，我们也对模型在组合来自不同集合的手势时的表现很感兴趣。
我们进行了一个实验来探索DualRing跨手势集的鲁棒性。我们合并了“接触手势”（手到表面的交互）和“扣人心弦的手势”（手到物体的交互），得到了8个类的组合数据集（“在空中”类是相互的）。对于每个参与者，我们从每个类（总共8个类）中均匀地抽取了100个样本（每个样本包含100帧）。结果表明，留一个用户的交叉验证（100帧，双环）的平均准确率为79.72%(SD=5.46%)，证明了我们的算法在不同手势集之间的鲁棒性。
我们进行了另一项实验，以探索来自敲击手势集（瞬态）或抓住手势集（非瞬态）的样本是否会导致假阳性问题。我们发现，来自夹持集的样本在轻拍集中有2.75%的假阳性率（40帧，双环）（例如，识别为轻拍）；而点击集的样本在夹持集的假阳性率为7.40%（100帧，双环）。结果表明，瞬态手势集与非瞬态手势集之间没有太大的干扰，验证了瞬态手势与非瞬态手势融合识别的可行性。
特征分析
我们进行了一项简短的消融研究来分析不同手势集中不同特征的显著性。计算结果如表3所示。根据结果，我们得出结论，不同特征的显著性在不同的手势集中是不同的。对于敲击手势，我们观察到在删除原始数据时准确率有所提高，这可能是因为原始数据包含干涉特征。去除两个imu的独立光谱导致敲击手势下降最显著。对于接触手势，两个IMU的光谱是最显著的，可能是因为每个IMU的光谱分别表示拇指和食指的接触状态。对于扣人心弦的手势，统计特征、差分信号的频谱和方向对性能的影响最为显著。差分信号的频谱可以表明两个imu之间的微振动的同步，而方向可以代表抓握的手势。
用户实验
在本节中，我们进行了一项用户研究，以了解用户的主观偏好和对我们的设计空间中不同手势的评论（第4节）。
参与者、设计和程序
本研究的参与者与第5.2节相同。我们选择了与之前的研究相同的用户组，以确保所有参与者都能很好地理解手势集。
我们选择了8个具有代表性的手势，覆盖了我们设计空间的三个子空间：捏动、手指光标、手指滑动、区域选择、手指图案、光线指向、敲击表面、抓住一个物体。我们为每个手势开发了一个交互式程序，要么是实时视觉反馈演示（捏住、指向光线、敲击表面和抓住物体），要么是一个简单的演示应用程序（手指光标、手指滑动、区域选择和手指模式），如图7所示，以帮助参与者更好地理解每个手势我们设计了一份问卷来评估每个手势，其中包含了NASA TLX[16]的问题和另外四个问题，关于他们的使用意愿，以及这些手势是否易于使用、有趣的使用和方便使用。
在向参与者介绍每个手势后，包括如何执行手势和可能的手势功能映射，我们指导他们正确地执行每个手势，并使用该手势与相应的演示进行交互。在完成所有的手势并体验互动演示后，我们要求每个参与者填写一份问卷，对每个方面的每个手势进行打分，李克特得分为7分。最后，参与者通过一次访谈，对所有这些手势进行了主观评价。
结果
图8显示了在这10个维度中对不同手势的主观评分。得分越高，说明心理需求越低，身体需求越低，时间需求越低，效率越高，努力越低，挫折感越低，更容易使用，使用越有趣，使用更方便，更愿意使用。结果显示，参与者普遍喜欢DualRing提供的8种交互技术，平均愿意使用的评分为5.0。按压（5.6）、手指光标（4.8）、手指滑动（5.9）、光线指向（5.4）、表面敲击（5.6）和物体抓住（5.2），而区域选择（3.6）和图案绘制（3.8）不喜欢。在所有的手势中，捏捏、手指滑动和表面敲击最受参与者青睐的是其心理、身体和时间需求低，效率高，使用方便和方便。手指光标被理解为一种难以使用的技术，需要很高的学习成本、额外的注意力和大量的心理需求，尽管参与者普遍认为它对有经验的用户来说可能是一种有效、方便和有趣的手势。
我们根据用户对不同互动空间和手势的理解，总结了访谈结果和用户的评论。
从拇指到指尖的手势。
所有参与者都有一个共同的共识，即捏手指、手指光标、手指滑动和手指模式都是相同类型的手势，只涉及微妙的手指运动，因此身体需求很低。然而，这些手势的复杂性却有所不同，导致了不同程度的变化
手指区域。
参与者将其理解为拇指触摸不同手指部分的一种手势。它获得的接受度较低，主要是因为执行困难。P7说：“我的拇指很短，所以我很难触摸到小指的近端指骨。”其他4名参与者与P7也有类似的问题。然而，他们都同意，如果这个手势被限制在容易触及的手指部分，比如食指和中指的各个部分，那么这个手势就会变得有用。
面对面的手势。
参与者被双指区分哪个手指触摸到了表面的能力所吸引。P2说：“轻拍桌子是很自然的，也很容易执行。我迫不及待地想想象这些应用程序会利用这个手势，比如在普通桌面上弹钢琴或打字。这是一种极大的乐趣。”关于接触手势，参与者(P2，P4)认为他们更接近无意识的手势，更适合被动控制(例如，当检测到一只休息的手时，使AR显示失效)。
手对对象手势。
与会者称其描述为“加强日常活动的有效方式”。P1说：“抓握是一种很常见和经常表演的手势。我希望增强现实眼镜能在物体被握后呈现有关它的信息，就像握时时钟呈现详细的天气信息一样。有了如此聪明的握把，很多事情都可以做到。”
一般来说，所有的手势都被大部分参与者所接受。他们仍然对这些手势所支持的应用程序感到好奇。
应用程序场景
为了说明DualRing的适用性，我们演示了两个涉及来自设计空间的不同模式的示例场景，如图9所示。
方案说明
智能办公桌。
场景设置、交互模式和手势如图9(a).所示爱丽丝在办公室工作，坐在一张智能桌子前，其中多个物联网设备由双环以统一的方式控制。当她把手掌放在桌子上坐上5秒钟时，智能办公桌系统会自动打开，照亮主屏幕，并启用双重环的手势控制。
在工作过程中，爱丽丝遵循一个统一的逻辑，通过执行不同的手势来控制办公桌元素。当她想开始一个控制过程时，她会用不同的手指点击桌面来导航到相应的元素-拇指为屏幕控制，食指为轻控制，中指为扬声器控制。然后她可以做一些手势，比如捏和滑动，来控制目标设备。当她想在屏幕之间浏览内容时，在进入屏幕控制模式后，她会把食指变成一个触摸板，用拇指捏一下来模拟点击，然后在食指上滑动拇指来执行细粒度的光标控制。她还可以用拇指到中指捏一下手指来切换对焦屏幕或设备。为了控制光线，她会用拇指捏到食指来打开（关闭）灯，然后用拇指在食指上滑动来控制亮度。为了控制扬声器，她捏一下来开始或暂停播放音乐，用食指滑动来控制音量，然后向上（向下）滑动，切换到前一首（下一首）歌曲。
除了主动设备控制外，爱丽丝还可以从智能办公桌接收与健康相关的被动通知，利用双阿林的传感能力来捕捉她的手部状态和活动。例如，当她一小时没有喝水（或没有检测到持续的抓握瓶手势）时，屏幕上会显示提醒她喝水的通知，并伴有信息警报。（注册后，系统持续检测5.1节中描述的抓持手势）。同样地，当她一直在握住笔或鼠标一个小时后，系统就会发送一个通知，提醒她休息一下。
DualRing的产品在智能桌面场景中提供了两个独特的好处。首先，DualRing支持的统一控制流允许用户使用统一的手内和手到地面的手势无缝、有效地控制多个设备，而无需访问它们的物理接口。其次，双环的被动活动监测能力在日常医疗保健中发挥着重要作用，特别是在人们整天在办公桌前工作的情况下。
AR输入。
场景设置、交互模式和手势如图9(b).所示Bob正在控制一个AR接口，并将DualRing作为一个通用的输入设备，它支持三种类型的控制逻辑——3D对象交互、嵌入式2DUI交互和离散交互。在3D对象操作APP中，他首先执行光线指向来选择一个3D对象，然后执行拇指到指数的捏来移动对象，或者执行拇指到中间的捏来旋转对象。在捏了一下拇指到食指之后，他可以用光线重新定位物体，或者用拇指沿着食指滑动，使物体移动得更远或更近。如果他用拇指到中间捏一下，他可以用光线来旋转物体。他在完成操作后松开手指。在网络浏览器APP中，这是一个嵌入式3D场景的2D界面，他把食指变成一个如上所述的触控板来控制界面。他还可以使用离散的手势来控制具有离散布局的APP（如网格或列表），包括家庭APP和视频播放器APP。在主页APP中，他执行滑动手势（在四个方向上）来导航到所需的图标，并执行拇指到索引的捏来启动APP，或执行拇指到中间的捏来打开选项菜单。在视频播放器APP中，他捏动开始（暂停），右（左）滑动快进（倒带），向上（向下）滑动前（下）视频，捏动后连续滑动进行语音控制。他用拇指捏一环，回到上一页或首页。此外，如果他是在一个水平面上（例如，一张桌子），他可以执行一个点击手势来快速导航(例如，一个拇指点击到家庭APP)。
与现有的AR输入方法，如控制器(如NReal)和手势（如全息透镜）相比，DualLing对AR输入有三个独特的优点。首先，DualRing具有支持复杂交互的潜力，如三维对象操作和三维场景建模，能够统一有效地实现多个坐标集。其次，与DualRing的嵌入式UI交互（如浏览、聊天和输入密码）可以通过秘密和微妙的手势来完成，这有利于公共领域的社会接受和隐私。第三，双重环能够实现低注意力水平和心理负荷的离散互动。例如，在通勤场景中，口袋中的简单手势有助于完成常见的功能(例如，切换音乐和阅读通知)。得益于一种紧凑的形式和强大的传感能力，DualRing有潜力成为一种始终可用的、支持多种AR输入类型的通用AR输入设备。
部署问题
我们将讨论针对不同手势集及其组合的个体识别模型和方法的性能（第5节）如何影响上述场景中DualRing的可用性。首先，我们观察到，基于原始AC信号（捏动）、个人姿态（射线指向）和相对姿态（手指光标和手指滑动）的手势，通过确定的算法而不是机器学习模型检测，通常具有令人满意的实际使用性能（例如，4类捏动的准确率为97.36%，滑动的准确率为99.37%）。滑动的平均角度误差总是在15◦以内，在基于手势的交互（例如，向四个方向滑动）和基于光标的交互（例如，画一条垂直线）中都显示出良好的可用性。对于利用融合功能的更复杂的手势，如接触、点击和抓握，它们可以在应用程序场景中考虑到特定的可用性。例如，为智能办公桌设置的敲击手势的大小可以缩小，避免分配功能与混乱的手势（例如，无名指和小指）。此外，我们的应用程序中的识别是按顺序设计的（例如，在智能办公桌场景中，一个点击手势和一个滑动手势）和有机组合，以避免融合不同的手势集，以获得更好的检测精度。对夹持检测也可以采用标签平滑策略，以避免不稳定的检测误差。此外，我们的交叉集评估（第5.5节）展示了同时识别不同手势集的可行性，使我们的智能办公桌能够同时识别主动控制的敲击手势和被动通知的抓握手势。通过1)优化检测方法（例如，收集更多的训练数据或使用更好的识别模型）和2)进行细粒度的交互设计，可以进一步提高其可用性。
限制和讨论
物理尺寸和形状
目前，在我们的原型实现中的车身触摸信号检测是基于外部高频交流电路，缺乏便携性。用射频信号发射器和接收机替换交流模块，可以简化硬件结构，在消除电线的同时，保持相同的传感原理。在我们的工作中，这两个电极分别分布在拇指和食指上，将一个12.5兆赫的信号传递到人体中。电极材料和放置以及信号频率是值得进一步探索的课题。这两个imu目前被连接到一个PC上，这限制了应用场景。使用蓝牙模块进行数据传输可以缓解线路约束。
我们所设想的双重环的最终形式是，每个环的功能都是对称的，由一个无线射频信号发射器、一个接收器和一个蓝牙IMU模块组成。用户可以组合多枚戒指，戴在不同的手指上，以实现不同的传感目的。
交互空间设计
目前在我们的研究中，所有的手势都是由作者通过头脑风暴访谈设计的，主要是探索设计空间和可能性。从用户研究中，我们发现一些手势和相应的交互技术需要详细的设计和进一步的改进才能实际使用。例如，接触区域的划分可以更紧凑（例如，区分接触方阵的边缘或中心），同时避免覆盖难以触及的部分。调整动态光标速度或气泡光标也可以帮助缓解参与者，以及提高效率。通过更好的设计，双环实现的交互技术可以带来更好的用户体验。在未来，我们将招募更多具有不同特征（如年龄、文化等）的用户。并仔细评估和设计每个手势和相应的交互方式，特别注意复杂性和效率的平衡。
处理环境干扰
我们目前检测身体触摸信号的算法是基于一个简单的阈值方法，只监测信号的振幅。但是，交流信号的振幅会受到用户的物理状态和各种环境因素，如空气湿度、皮肤湿度等的影响，这意味着在每次使用前都需要进行仔细的校准。需要开发一种算法来区分基于序列信息或其他传感器信息的振幅变化是由身体上的触摸事件引起的，从而能够稳健地检测触摸信号。
对于双imu，我们观察到，它们的磁数据很容易受到周围磁干扰的影响。导致了欧拉角计算中的偏差和延迟。因此，对相对姿态的准确估计是困难的。为了解决这个问题，一个解决方案是使用不容易被干扰的信号(如GPS)作为参考信号。
为什么是双环
另一个需要讨论的重要问题是，为什么我们选择使用两个imu，并将它们固定在拇指和食指上，以进行手势感知。首先，手段之间的相对运动，包括有意识的手势和无意识的微振动，只能通过至少两个传感器连接到不同的部分来感知。第二，拇指和食指是手的两个主要节段的代表。当做一个常见的手势时，食指经常驱动其他三个手指的运动。例如，当一个人抓住一个物体时，他会无意识地用拇指和食指抓住这个物体，而他会帮助其他的手指。基于这些考虑，我们相信Dual环传感器的安装可以为手势估计提供全面的信息，这一点在我们的实验中也得到了证明。
总结
我们提出了一种新型的环状装置，以感知丰富的手的信息，并使一个大的交互空间。双相环由两个IMU环和一个高频交流电路组成。这两个戒指戴在用户的拇指和食指上，以感知手段的方向和运动。该交流电路旨在通过测量拇指和食指之间的阻抗来检测身体接触信号。我们设计了一种算法来计算拇指和食指的绝对方向和相对方向，拇指到手指的接触信号，以及两个imu之间的各种特征。基于丰富的感知信息，我们扩大了基于环的手交互的设计空间，并将其重新划分为三个子空间。通过实验评估DualRing在不同手势集下的性能，我们证明了DualRing与单一基于单一imu的解决方案相比的综合感知能力。通过用户研究，我们证明了DualRing所支持的交互空间和技术已被用户普遍接受。我们相信双环将启发探索基于环的手势传感技术，使其更具表现力和更有效的手互动。
266
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
