DigiTouch: Reconfigurable Thumb-to-Finger Input and Text Entry on Head-mounted Displays

Abstract

• 输入是可穿戴系统的一个重要问题，特别是头戴式虚拟和增强现实显示器。现有的输入技术要么缺乏表达能力，要么可能不被社会接受。作为一种替代方法，拇指到手指的接触提供了一种很有希望的输入机制，这种机制很微妙，但能够进行复杂的交互。我们介绍了一种基于手套的可重构输入装置Digitouch，它可以通过感应连续的触摸位置和压力来实现拇指到手指的触摸交互。我们的新型传感技术提高了连续触摸跟踪的可靠性，并估计了电阻织物界面上的压力。我们通过启用一组易于访问和可重新配置的小部件（如按钮和滑块）来演示Digitouch的实用性。由于Digitouch能够感知连续的触摸位置，因此可以根据用户偏好和应用需求定制小部件布局。
• 作为这个可重新配置输入设备的现实应用程序的一个例子，我们研究了一个映射到用户手指的拆分QWERTY键盘布局。我们使用多会话研究评估Digitouch的文本输入。通过我们的连续感应方法，用户可以可靠地学会打字，并在10个20分钟的课程结束时达到平均每分钟16.0字的打字速度，这比类似的可穿戴触摸系统有所改进。

Introduction

• 用于可穿戴虚拟现实（VR）和增强现实（AR）系统的头戴式显示器（HMD）最近在兴趣和流行度方面重新兴起。由于显示器和嵌入式技术的进步，头戴式显示器已经准备好影响我们的工作、娱乐和交流方式。目前，这些技术的消费者应用主要集中在固定环境中的游戏和娱乐。例如，头戴式触摸屏（Google Glass、三星Gear VR）或空中手势界面（Microsoft HoloLens）需要将手举至眼睛水平，这可能会让人疲劳，并引起用户不必要的注意。
• 高端虚拟现实设备（HTC Vive、Oculus Rift）使用手持位置跟踪控制器进行输入。虽然这些控制器提供沉浸式的游戏体验，但它们并不总是适合移动输入，因为它们要求用户持有额外的设备。因此，为了能够更广泛地使用头戴式计算设备，对表达性、微妙性和可移植性的输入方法的需求尚未满足。
• 拇指到手指的交互是一种很有前途的技术，可以谨慎地进行，而不需要大幅度的手运动。将输入面放在手指上可以实现细粒度控制，同时利用触觉和本体感受反馈。此外，Huang等人已经证明拇指到手指的交互既舒适又非常精确。与许多在使用过程中需要特定姿势的输入方法不同，一个人可以用拇指在手臂静止的情况下沿着手指轻轻滑动。与许多在使用过程中需要特定姿势的输入方法不同，一个人可以用拇指在手臂静止的情况下沿着手指轻轻滑动。
• 尽管传统的光学手部跟踪器在手部姿势检测方面表现出色，并且提供无增广的跟踪功能，但它们没有提供足够的粒度来精确检测手指触摸事件和位置。然而，手套有许多优点：不受遮挡和光线问题的影响，可以更细微地使用手套，并且手套在识别输入事件时的错误可能更少。手套特别适用于传统桌面计算环境以外的输入（例如在总线上）或手套已被广泛使用的情况。由于建立非接触式触觉的困难，人们在需要诸如力反馈或振动反馈等触觉反馈时也可能戴手套。虽然手套在某些情况下可能在社会上不可接受，但是没有一种适合所有头戴式显示器的输入解决方案，并且能够从一系列输入设备中选择适合这种情况的手套将有助于使HMD更加普遍。
• 在本文中，我们介绍了一种触摸敏感手套Digitouch，它可以使拇指到手指之间的交互作用，使眼睛在可穿戴系统上自由输入。Digitouch使用薄的、部分导电的布条沿着手指和拇指垫上的导电贴片（图1）。每一条都能感觉到拇指接触手指时的连续触摸位置和压力。这可以通过敲击、滑动、用力按压和双手和弦手势实现精确而微妙的输入（图2）。
• 不需要其他数据手套[15,16,27,32]，这样一来就可以隔离触摸区域，并可以测量拇指的连续触摸位置。此功能使其可重新配置；允许它用于各种任务，如目标选择、滑块控制和文本输入。根据应用程序要求，不同大小的小部件可以映射到特定手指的不同区域。尽管其他人已经展示了感知连续输入的基于织物的触摸界面，但这种系统要么需要多层织物[8]来阻止触觉反馈，要么使用传感器阵列[29]使其笨重复杂。还不清楚这些系统在弯曲或拉伸时的工作情况，因为这样做会改变织物的电性能。为了克服这些挑战，我们提出了一种新的织物连续感测技术，该技术只使用一层织物和每根手指上的两线接口。Digitouch利用电流监测和时间复用感测来解释手指弯曲时的可变电阻。

Related Work

• 由于手的解剖结构，用拇指触摸手指是一种自然而富有表现力的互动。这种相互作用得益于触觉和本体感受（身体位置和运动的先天感觉）反馈。先前的工作[11，26]探讨了这种拇指到手指的交互方式，以用于各种应用。例如，Digitap[26]使用手腕安装的加速度计和摄像头来检测拇指到手指的轻击。加速度计检测到轻拍发生的时间，并唤醒摄像头以观察轻拍发生的位置。它可以识别12个位置（每个手指三个区域）的离散抽头。我们的系统感应连续触摸位置，允许可重新配置的输入和每个手指任意数量的触摸区域。Digitspace[11]原型使用一系列霍尔效应传感器沿手指长度检测拇指位置。虽然这项技术很有前途，但他们的原型仅限于两个手指，不考虑文本输入等复杂任务。此外，它还需要用坚硬的电子设备来测量手指，这可能会限制运动的范围。其他项目探索拇指到手指输入的子集，例如Nailo[12]和RingterAction[6]，它们在手指上放置小型传感器，以实现拇指手势。在这些系统中，交互表面仅限于一根手指的一小部分。Saponas等人[28]演示了一种基于前臂的肌电图装置，该装置可以对一组手势进行分类，包括拇指到手指的手势。然而，分类的离散性使得它不适合细纹理拇指到手指的感知。
• 为了估计拇指和手指的位置，研究人员还探索了基于视觉的技术[1，13]和使用附着在指尖上的磁铁和磁传感器的技术[2-4，11]。独眼龙[1]使用一个独特的鱼眼相机放在食指和中指之间，以区分许多手势，包括几个拇指到手指的触摸。然而，由于闭塞问题，目前尚不清楚它能多精确地检测触摸事件并估计拇指在手指上的位置。数字[13]使用手腕上安装的红外摄像机重建手和手指的三维模型。但是，它是为基于手势的输入而不是连续输入而设计的。磁法能够实现可靠的连续位置跟踪；然而，再次很难检测拇指和手指之间的接触。Fingerpad[2]使用粘贴在食指上的加速度计来检测接触冲击。尽管视觉和磁跟踪技术在长期内可能是可行的手跟踪解决方案，但它们在检测接触事件方面并不擅长。我们选择使用手套来实现可靠的触摸检测。
• 有几个基于手套的接口的例子已经被提议用于输入和文本输入。米勒等人[22]使用一系列导电线沿手指长度创建了一个具有二维输入表面的手套，但仅演示了执行简单目标任务的能力。Plex[38]虽然不是全套手套，但它是一种可穿戴的手指套，使用压阻织物使拇指与手指接触。同样地，Timmi[37]扩展了这一功能，以重建手指弯曲和触摸压力。这些技术类似于Digitouch，但有一个有限的交互表面，不探索所有手指上的交互。此外，这些设备只支持离散接触点。有几个基于手套的接口的例子已经被提议用于输入和文本输入。米勒等人[22]使用一系列导电线沿手指长度创建了一个具有二维输入表面的手套，但仅演示了执行简单目标任务的能力。Plex[38]虽然不是全套手套，但它是一种可穿戴的手指套，使用压阻织物使拇指与手指接触。同样地，Timmi[37]扩展了这一功能，以重建手指弯曲和触摸压力。这些技术类似于Digitouch，但有一个有限的交互表面，不探索所有手指上的交互。此外，这些设备只支持离散接触点。
• Kitty[15]是一种手套，每个拇指有四个触点，四个手指有六个触点，提供48个按钮组合，适合输入文本。这就产生了一组富有表现力但又复杂的可能接触点。通过在每个手指上放置一个连续的输入空间，我们可以使用一个熟悉布局的分离式QWERTY键盘。argot[24]是一个单手手套，有15个按钮，可以使用多点击和T9字典输入文本。罗森博格和斯莱特[27]提出了一种带有七个按钮的基于和弦的手套。通过培训，基于合唱的技巧可以达到很高的文本输入速度（10小时后达到16.8每分钟[27]），但很难掌握。使用Digitouch，参与者只需3小时的练习就可以达到类似的打字速度，而且不需要学习新的键映射。我们的连续感应还可以调节按钮的数量和布局。

DigiTouch System

• Kitty[15]是一种手套，每个拇指有四个触点，四个手指有六个触点，提供48个按钮组合，适合输入文本。这就产生了一组富有表现力但又复杂的可能接触点。通过在每个手指上放置一个连续的输入空间，我们可以使用一个熟悉布局的分离式QWERTY键盘。argot[24]是一个单手手套，有15个按钮，可以使用多点击和T9字典输入文本。罗森博格和斯莱特[27]提出了一种带有七个按钮的基于和弦的手套。通过培训，基于合唱的技巧可以达到很高的文本输入速度（10小时后达到16.8每分钟[27]），但很难掌握。使用Digitouch，参与者只需3小时的练习就可以达到类似的打字速度，而且不需要学习新的键映射。我们的连续感应还可以调节按钮的数量和布局。
• 我们探索依赖以下触摸手势的互动：轻拍、用力轻拍、滑动和合唱（同时触摸对手的两个手指）。这些简单的手势可以作为构建块，并支持广泛的功能，包括典型的按钮、压敏按钮、滑块、和弦输入，甚至是用于文本输入的完整键盘。Digitouch的连续传感功能确保输入可重新配置，各种输入控制（如按钮、滑块等）可根据应用程序的需要映射到手指位置。例如，一个音乐播放器一只手上每个手指只能使用几个按钮（图2，（中心）），而一个三维建模应用程序可以使用细粒度控件，每个手指最多有五个按钮和/或滑块。
• 我们探索依赖以下触摸手势的互动：轻拍、用力轻拍、滑动和合唱（同时触摸对手的两个手指）。这些简单的手势可以作为构建块，并支持广泛的功能，包括典型的按钮、压敏按钮、滑块、和弦输入，甚至是用于文本输入的完整键盘。Digitouch的连续传感功能确保输入可重新配置，各种输入控制（如按钮、滑块等）可根据应用程序的需要映射到手指位置。例如，一个音乐播放器一只手上每个手指只能使用几个按钮（图2，（中心）），而一个三维建模应用程序可以使用细粒度控件，每个手指最多有五个按钮和/或滑块。
• 在制作数字手套时，我们的主要设计考虑是：手套织物应薄而有弹性，确保与皮肤的良好接触，保持触觉反馈，手套应舒适，以便长时间佩戴。Digitouch（图4）由三个主要部件组成：（1）薄的弹性尼龙手套，（2）在四个手指上充当线性触摸传感器的部分导电织物条，以及（3）制作拇指贴片的导电织物。我们选择使用导电织物，而不是其他导电材料，因为它是灵活的，并随着时间的推移保持其导电性。部分导电织物带由聚酯/棉与小不锈钢纤维混合制成，以使其部分导电4。拇指贴片是用不锈钢丝编织而成的棉花制成的。当我们在现有手套上贴上商用织物时，我们注意到数字纺织品的最新进展[25]将使手套和电子设备之间的耦合更加紧密。未来的设计可能会将导电带编织到手套中。
• 通过这种配置，我们可以确保用户可以触摸拇指的任何部分，但是手指条上的接触点决定了触摸的位置。这一点很重要，因为根据解剖学上的不同，触摸哪根手指，以及拇指的方向，拇指的不同部分将与手指接触。使用导电银环氧树脂（图4）将细电线连接到手指条的两端和拇指贴片的一端。这提供了一个可靠的线织物接口，不会随运动而改变。
• 

Conclusion

• Digitouch是一种可重新配置的手套输入设备，用于可穿戴计算，特别是头戴式AR和VR系统。Digitouch通过感应拇指在手指上的连续触摸位置和压力，实现了微妙的拇指到手指的互动。为了实现这一点，我们提出了一种新的技术，只使用部分导电织物，在每根手指上有一个两线接口，在拇指上有一个导电织物贴片。连续触摸跟踪可以实现一组易于重新配置的小部件，这些小部件可以根据用户偏好和应用程序需求进行定制。为了评估Digitouch在实际应用中的性能，我们使用分离式QWERTY键盘进行了纵向文本输入研究。参加者的平均打字速度达到了16.5wpm，并且具有很高的准确性，显示了使用digitouch输入文本的可行性。Digitouch提供的微妙但始终可用的输入可能使AR和VR系统得到更广泛的使用。