笔与空中手势在平板输入中的探索

笔+空中：探索用于补充平板电脑上笔输入的空中手势

引言

诸如苹果iPad Pro或微软Surface等技术提高了人们对触摸屏上笔输入的普遍认知和兴趣。即使在触摸屏尚无法实现如今高端技术所能达到的精确笔输入的时代，笔输入也一直是触摸屏技术考虑的因素之一。因此，关于笔输入和（多点）触摸输入的研究已形成了丰富的相关研究，包括笔与触摸的组合使用（例如，[17, 24, 34]）。近期关于改进触摸输入的研究强调了将触摸输入与空中手势相结合的额外优势（例如，[2, 3, 7, 10]），以应对诸如汽车中触摸屏交互的性能问题以及小尺寸屏幕上触摸目标获取等限制。

我们的目标是通过探索非优势手执行的空中手势与优势手使用笔相结合的潜力，为平板电脑上双手笔输入和手势输入领域的现有研究做出贡献。

如今的许多触摸屏已支持笔输入和多点触控输入。尽管在大尺寸触摸表面上，双手操作的优势显而易见，但在较小的触摸屏（如平板电脑）上，非优势手配合笔输入所执行的手势带来的益处尚不明确。我们认为，如果空中手势成为一个合理的选择，则可以弥补平板屏幕使用中可能出现的问题，例如非优势手在进行触摸手势时与笔输入同时操作导致的屏幕遮挡或不良的人体工学限制。据我们所知，目前尚未有研究探讨在平板电脑上结合笔和空中手势的双手输入方式。

为了弥补这一研究空白，首先，我们旨在获取用户对平板电脑上笔和空中输入的可用性及用户体验的初步反馈，前提是该交互技术的可用性和用户体验具有前景。其次，我们旨在探索在平板电脑上的哪些操作中，真实用户可能更倾向于使用笔和空中输入，以及最终用户希望执行哪些特定的手势。

为了实现我们的目标，我们使用基于现成技术（即 iPad 和 Leap Motion控制器）的绘图应用早期原型，对200多名用户进行了实地研究。在后续的情境访谈中，我们暂时忽略原型相关的初始技术限制，并更详细地向用户了解笔和空中输入的操作与手势。我们通过四次情境访谈（CIs）总结出一组基本操作，这些访谈探讨了（数字）笔在实际绘图和照片编辑任务中的使用方式。随后，我们开展了包含十名用户的实验室研究，为每种操作分别定义了笔和多点触控输入的手势，以及笔和空中输入的手势。

笔和空中输入的最终用户定义手势集基于用户一致率得分、视频观察以及“出声思考”程序[8]。我们进一步获得了关于用户何时以及为何更偏好笔与多点触控输入而非笔和空中输入，反之亦然的见解。在接下来的部分中，我们将先概述笔和空中输入的背景，然后详细描述我们探索过程中的每一步，包括所采用的方法论、获得的见解以及得出的结论。

背景

笔和多点触控输入

对于双手操作动作，圭亚尔[9]提出了运动链模型，并假设左手和右手是运动链中的相互连接的环节。在这种关系中，非优势手（NP）建立参考框架，优势手（P）在此框架内进行操作。非优势手（NP）用于执行较少发生、幅度较大且较慢的动作，而优势手（P）则执行频繁、精细且快速的动作。圭亚尔的模型为许多关于笔与多点触控输入的相关研究（例如，[17, 24, 33, 34]）提供了灵感和分析工具。

肯·欣克利等人已对笔与多点触控输入进行了广泛研究（例如，[17, 16, 14]）。除了参考他们所借鉴的运动链模型外，还从实际使用相关工具（如笔、纸质文件、平板电脑或笔记本电脑）的观察中获得灵感。他们提出了基于笔和触控输入组合的新（数字）工具，并研究了笔与触控之间的分工[17, 16]。此外，还探索了用于笔和平板电脑使用的传感技术（例如，[14]），以更好地识别交互上下文，从而为平板电脑上笔与触控输入的未来应用场景奠定基础。

马图利奇等人[23]评估了桌面系统上的单模态和双模态笔与触摸输入，以及笔和触摸操作的桌面系统如何支持主动阅读操作[24]，突出了双手操作在性能方面的优势。他们比较了在纸质文档、用于PDF文档的台式机应用程序以及利用双手触摸和笔输入的桌面解决方案上进行的注释和快速搜索等操作。针对在桌面系统上进行注释以及剪切/复制和粘贴操作，吴等人[31]提出了两种用于笔和触摸输入的手势。在类似主题上，尹等人[34]研究了如何结合使用笔和触摸来通过撕开数字纸张并创建额外空间，以弥补平板电脑设备上因空间不足而难以进行注释的问题。布兰德尔等人[5]解决了桌面系统上的遮挡问题，并提出了防遮挡菜单设计，该设计将笔分配给主导手（P），触摸输入分配给非主导手（NP），并自适应地调整菜单位置。

总之，笔与多点触控输入的相关研究已经针对各种任务研究并设计了笔和触摸输入技术，重点关注选择与操作任务，并支持复合输入任务（例如，在标记项目的同时浏览项目列表）。为了指导其交互设计，研究人员常常借鉴类似工具（如笔和纸）以及技术（如平板电脑使用和多点触控手势）的现有实践。

关于笔与多点触控输入的设计，吴等人[31]早前指出，在相关研究中手势设计大多是临时性的。基于现有文献和他们自己的观察，他们提出了一套设计原则用于定义：（i）如何确定手势识别的开始，（ii）手势开始后应如何处理，以及（iii）如何重用手势来完成不同的任务。尽管此前已针对双手手势探索过类似的指导原则[4, 19]，但这些原则主要受圭亚尔的运动链模型[9]启发，并侧重于解决输入设备（如两只鼠标）与输出设备（如屏幕）之间存在位移的场景中的问题。

触摸与空中输入

与桌面系统和平板电脑等交互表面的交互被称为人机交互的“自然”形式，允许用户通过在大屏幕上使用双手直接操作数字内容，例如通过触摸手势（如[28, 30]）或实体对象（如[27]）。

然而，早期从事桌面系统交互设计的研究人员（例如[12, 28]）就已经意识到并着手解决平面交互空间的局限性，例如在平面屏幕上抓取和操作三维内容时存在的问题。因此，研究人员对桌面系统上方的空间及其如何用于增加与交互式桌面系统交互的深度和连续性进行了研究。例如，马夸德特等人[22]探索了将桌面触控与桌面屏幕上方的空中手势相结合，以实现面向桌面交互的连续交互空间。他们展示了一系列融合触摸屏与屏幕上方输入的新交互技术，但主要聚焦于单手输入，例如抬手手势用于显示对象或调整缩放精确度。

接近信息已被用于情境化桌面交互[1]，例如区分和适应左右手使用。手或手指的接近信息还被用于调整触摸屏内容，例如笔记本电脑和台式机设置中的触摸目标[32]，或在特定情境限制下的平板电脑上的触摸目标[2, 3]。在此基础上，研究人员已研究了触摸目标向用户接近的手部扩展或移动的效果。针对移动设备上的屏幕上方输入以及单手交互也已有研究，考虑了触摸事件之前、之后及之间的手指运动（例如，[7, 10]）。据我们所知，目前尚未有研究探索在小尺寸触摸屏（如平板电脑）上使用笔和空中输入的交互方式。

设计手势

我们认为，平板电脑上的笔和空中输入有望结合双手输入的优势（例如支持复合选择/操作任务，从而提升性能）以及利用空中输入应对其情境限制（例如小尺寸屏幕）的可能性，并提供灵活性（例如允许用户在屏幕或空中执行相同的手势）。

与多点触控手势相比，空中手势的设计仍较少被探索。然而，关于双手操作的笔与多点触控输入的相关研究在双手输入的局限性和潜力方面提供了有价值的见解，例如性能提升、手部遮挡问题以及设计手势的困难。此外，相关研究还提供了相关的操作（例如，缩放、注释）用于在触摸屏上的双手输入，也可以通过笔和空中输入来实现，前提是交互设计合理。

While in the past designers and developers designed gestures for gesture-based interfaces themselves based on their valuable expertise, today there are other options available. For example, inspired by Wobbrock’s methodology[29], many researchers have in recent years designed gestures for novel interaction techniques by applying participatory design[26] and eliciting input directly from users. For example, gesture sets for motion gestures with mobiles[25] or bend gestures with flexible electronic displays[21] have been studied. Wobbrock’s proposed methodology includes observing users during performing gestures(e.g., through video material and “think aloud” protocols) and computing user agreement scores. These scores are then used to inform and define a final gesture set with high probabilities for good usability and user acceptance.

FIELD STUDY

在本节中，我们将描述为探索平板电脑上笔和空中输入的潜力而进行的一系列研究中的第一步。这第一步的目标是探讨用户对笔和空中输入在可用性和用户体验方面的感知。当[blinded]部门受邀在一个大型购物中心连续三天公开展示其研究成果时，我们获得了这一机会。

任何人都可以参加这次“科学博览会”，并与演示人员和原型系统互动。为此，我们设计了一个原型系统，使我们能够从大量参与者中初步了解我们的研究目标，即笔和空中输入的感知可用性和用户体验。

原型系统

硬件设置包括一台第二代iPad、一个Leap Motion 3D控制器和一台运行网络服务器的笔记本电脑。Leap Motion控制器通过USB线缆连接到笔记本电脑，iPad则通过无线局域网与笔记本电脑连接。此外，我们使用了一支电容笔，可用于与触摸屏进行交互。3D控制器可根据用户的手持习惯放置在iPad旁边的桌子上。

开发了一款JavaScript/HTML5应用，支持基于电容笔和在3D控制器上方执行的空中手势的组合输入。图1展示了该原型应用的截图。应用屏幕的上部是一个以表格形式呈现数据的表格。表格的单元格具有交互性，可通过触摸与空中手势的组合进行编辑（即高亮或涂黑）。

屏幕的大部分区域是一个用于笔绘图的画布。我们在屏幕左下角加入了一个数字旋钮，可用于清空画布。

交互技术

我们所实施的交互设计的主要原则是将基于触摸的输入和空中输入分配到两只不同的手上。图2展示了交互设置，包括左右手之间的“连接”

非主导手（NP）处于运动链中。在此设置下，用户通过用非主导手（NP）执行空中手势来“导航”所选目标的可能选项，同时使用握笔的主导手（P）触碰目标进行定位和确认。此时，由非主导手设定的框架仅在用户通过触摸屏幕特定区域进行选择或确认时才会对显示产生影响，这可能需要快速、精细且小幅度的动作。通过非主导手设定的框架（例如，通过NP选择的颜色）也会显示在屏幕顶部，而无需主导手（P）触碰屏幕。

为了探索多种可能性，该交互技术被重复用于不同功能。例如，对于表格中第一列的单元格，非主导手（NP）用于设置颜色的亮度。颜色本身固定为黄色，允许用户通过将单元格背景设置为亮黄色来将单元格涂黑或高亮显示。对于第二列，非主导手（NP）用于将颜色模式设置为红色或绿色，从而允许用户选中或取消选中单元格。

用户可以通过旋转手掌在颜色之间切换。通过改变手与3D控制器之间的距离，用户可以更改尺寸属性，例如单元格大小或绘图时的墨水粗细。在绘图画布上，用户可使用非主导手（NP）设置墨水颜色和墨水粗细，并使用主导手（P）进行绘图或书写。

实地研究的流程

在用户前方放置的显示器上，通过展台的宣传视频展示了该系统可能实现的交互类型。大多数访客无需进一步解释即可了解如何与系统交互。超过200名访客（主要是青少年和年轻成年人）试用了该应用。反馈通过问卷收集（即系统可用性量表（SUS）问卷[6]，以及用户体验（UX）问卷，其项目为 AttrakDiff[11]的子集）。我们的目标是初步了解参与者对基于笔和空中输入进行交互的感受。

用户体验问卷由195名访客填写完成。SUS问卷由66名访客完整填写（未要求15岁以下儿童填写SUS问卷，因为假设儿童难以理解其中的问题）。除了问卷之外，我们还观察了用户如何交互，并偶尔与对系统表现出特别兴趣的访客进行交流。

可用性与用户体验结果

图3总结了用户在使用原型系统时对笔和空中输入的看法。这种交互技术的评价甚至超过了我们的预期，访客们提出了他们自己可以如何使用该系统的设想。许多访客是青少年，他们认为绘图应用感觉像一款游戏，而应用的游戏化特征或许解释了为何用户认为该交互技术具有嬉戏性、令人兴奋且有趣。由于技术本身的新颖性，该交互技术被认为新颖且创新，这一点并不令人意外。

用户还表示，该交互技术简单、直接、易于掌握，总体而言是好的。

尽管有评论指出，基于空中手势在连续范围内选择确切颜色时存在困难，但SUS平均得分为70.1（满分100分）。该分数是对整体可用性的主观评估，70.1的得分表明这种交互方式具有合理的可用性，但仍有一些改进空间。

实地研究结果讨论

用户体验问卷的目的是了解用户对通过笔和空中手势进行交互的感受。许多尝试原型系统的访客使用系统的时间比我们预期的要长。一些老年人表示，同时协调双手在认知上具有挑战性。他们认为，虽然他们完全可以想象将这种交互技术用于表格数据，但只有在集成到生产力应用程序（如办公应用）中时才会使用。

我们可以观察到，访客还使用笔和空中输入进行复合操作（即用非主导手（NP）更改墨水颜色和墨水大小的同时，用主导手（P）进行绘图）。使用该应用较长时间的访客主要在绘图过程中使用空中输入执行复合操作，并表示这种交互技术使他们更具创造力。

实地研究的积极结果证实了我们已有的假设，即用户喜欢将笔和空中操作作为一种交互技术。然而，该实地研究存在一些局限性，例如我们所使用的原型应用程序和交互技术较为简单，以及原型中实现的功能选择。此外，我们的结果还受到所使用技术特性和限制的影响，例如在第二代iPad上使用笔输入时精度不足，或Leap Motion传感器的识别准确率（例如，当用户张开手指时，对非主导手的识别效果更好）。

与用户共同设计手势

为了补充实地研究的结果并解决其局限性，我们进行了一系列后续研究。首先，我们针对使用笔进行了情境访谈（CIs），这使我们认识到需要将用户融入笔和空中输入的设计过程中。随后，我们与用户共同设计了笔和空中输入的手势集，以及笔与多点触控输入的手势集。

情境访谈：使用笔

我们决定在实地观察真实的（数字）笔使用情况，以指导我们对最终操作集的决策，之后我们将为此设计手势。为此，我们进行了四次情境访谈和两次工作坊，探讨观察结果。尽管相关研究已经从观察中获得了启发，例如（物理）笔和纸的使用，但情境访谈的目的是补充相关研究的见解，并亲自观察（数字）笔使用中的情境限制。

参与者与流程

情境访谈在两周内完成。每周由两名研究人员进行两次情境访谈，随后与另外两名研究人员开展头脑风暴研讨会，基于亲和图分析观察结果。我们选择了两名软件开发者（1名女性，1名男性）和两名设计师（1名女性，1名男性）作为参与者。我们在工作场所访问了设计师，并在大学会见了最近完成大学学习的软件开发者。在所有情况下，我们都请他们演示如何使用基于笔的输入，并与我们分享他们的专业知识。

开发者A在大学学习期间经常使用平板电脑（即三星 Galaxy Note）配合笔，连续三年在讲座中做记录。她展示了在讲座期间如何使用平板电脑，讲解了这些年遇到的一些最佳实践和缺点。我们尤其关注她在做记录时如何使用非主用手。她有时会使用非主导手来切换功能。主导手主要用于书写和绘图，但在演示过程中，她也使用主导手选择功能，例如用笔选择橡皮擦功能。在放大时，她使用主导手同时仍握着笔。

开发者B拥有多个Wacom数位板，他主要在进行照片编辑任务这一业余爱好时使用。他用他的Wacom Bamboo演示了如何用数位板代替鼠标。缩放画布是他经常进行的操作，为此他使用非主导手（NP）按压键盘按钮。键盘上还有其他快捷键，例如Alt+Shift用于更改笔的墨水大小。他使用笔按钮来移动画布。他已经使用Wacom数位板多年，并指出由于笔与显示屏分离，用户需要适应手写笔的间接使用。

DesignerX是一位拥有多年经验的平面艺术家，我们曾拜访过她在办公室的工作情况。她使用多种应用程序，尤其是自1996年以来一直使用Photoshop。目前她主要使用Wacom数位板工作，但已禁用笔上所有按钮，以避免因误触导致的错误。她在工作时将非主导手（NP）放在键盘上，某些键盘快捷键甚至需要双手放在键盘上操作。五年前，她曾使用带有屏幕并支持直接笔输入的Wacom Cintiq。尽管可以旋转Cintiq的显示屏，但设备整体过于笨重。她认为当今的平板电脑对于许多相关任务而言尺寸舒适，但仍缺乏Wacom数位板所提供的精确笔输入功能，而后者没有内置屏幕。她告诉我们，为了专注于任务，她更倾向于每次连续工作20小时，并在夜间时间工作。她的项目通常需要20到40小时的工作时间。

设计师Y已在一家设计公司工作了四年，在多个应用程序中使用Wacom数位板，包括Corel Painter、Autodesk的 Sketchbook Pro，尤其是Photoshop。他认为，大约两周后，使用笔和平板电脑的交互会像使用鼠标一样自然。他表示，每位专家都会individually设置自己的工作台设置。他将两到三个小时用于修图任务在一张图像上进行操作。他使用带有双显示器的Wacom数位板，左侧显示器显示图像，右侧显示器显示工具。他认为水平手部动作（例如从左到右）比垂直手部动作更精确，因此旋转图像是很重要的。有时他需要用非主导手（NP）和主导手（P）同时输入键盘快捷键。他不使用橡皮擦功能，因为他认为翻转笔的操作太笨重了。缩放画布是一项重要任务，他通过键盘快捷键来实现放大和缩小。

总之，情境访谈确保了在使用笔操作时，选择与操作任务（例如在画布上缩放画布或旋转画布）是相关且重要的操作。此外，非主导手（NP）常被用于快捷方式。

然而更重要的是，我们认识到笔和空中输入的需求必须具有灵活性，允许用户根据个人偏好和需求调整笔和空中输入及其与操作的映射关系。一旦我们意识到研究用户希望自行执行哪些类型的笔与空中手势将更具优势后，便将后续工作重点转向与用户共同开发笔和空中输入的手势集这一下一步工作。

开发用户定义的手势集

Wobrock等人[29]已成功展示了如何在实验室中从用户处收集输入，以及如何与用户共同设计手势集。为了探索笔和空中输入的目的，我们采用了他们与用户共同开发手势集的方法论。我们没有为笔和空中输入设计单一的手势集，而是要求用户分别为笔和空中手势设计一组手势，另为笔和多点触控输入设计另一组手势。这样做的目的是了解用户在什么情况下更倾向于使用笔和空中输入，而非笔与多点触控输入，反之亦然。

参照/命令	Mean	SD
平移：水平移动画布	2.0	1.73
平移：垂直移动画布	2.0	1.73
增大笔迹粗细	3.0	1.0
减小笔迹粗细	3.0	1.0
逆时针旋转画布	3.67	1.52
顺时针旋转画布	4.0	1.73
更改笔的墨水颜色	3.67	0.57
打开菜单	1.67	1.15
关闭菜单	2.0	1.73
更换画笔	2.67	0.57
Undo	1.34	1.52
在时间轴上移动	3.34	1.52
聚焦放大	4.0	1.0
缩小	2.0	0.0
放大	2.67	1.15

表格1. 参与者获得指称并设计手势的15个命令。每个命令的复杂性由3位专家在（5项）李克特量表上进行评分。每个命令均以录制的视频和文本描述（1‐2句话）表示。

指称

对于15个命令，我们创建了指称（见表格1）。指称是命令的效果，我们用文字进行了描述并用动画（即视频录像）表示。例如，放大命令的指代对象显示了一个平板应用的视频录像（如屏幕录像），其中有人执行捏合手势来放大。因此，该指代对象仅展示放大的效果，而不展示实现该命令的具体方式（如捏合手势）。为了保持每个指代对象外观和感觉的一致性，我们使用了一款现有的平板电脑绘图应用，并利用该应用为所有命令创建指代对象。

参与者与流程

十名参与者（5名女性，5名男性）参与了本研究。所有参与者均在大学校园内招募，为学生或大学职员。其中两名参与者为左撇子。所有参与者均习惯在触摸屏上使用多点触控输入。研究在一间会议室中进行，由两名研究人员负责。一名研究人员提供指导说明，另一名研究人员负责设置摄像头并记录笔记。第二名研究人员的任务是特别记录参与者在探索手势选项时有关其心智模型的任何评论。

欢迎参与者后，他们接受了关于该研究的简短介绍，说明研究人员需要他们协助设计一组命令/指称的手势。图5展示了录制过程中的屏幕截图，包括实验室研究的设置。

实验设备包括一台iPad和一个Leap Motion传感器。在iPad上呈现指代对象（即效果的视频录像），参与者可以展示他们设想的多点触控手势和笔交互方式，并以平板电脑作为参考。Leap Motion传感器被用作能够识别其上方附近执行的任何空中手势的示例设备，但我们未提供有关该3D传感器实际范围限制的进一步信息。我们允许参与者根据需要自由放置Leap Motion传感器，并可在需要时移动它。引入Leap Motion设备的目的是为空中手势提供一个物理参考点，同时也出于我们对他们希望如何放置此类传感器的好奇。然而，我们告知参与者可以自由选择他们认为适合命令的任何手势。

指代对象的顺序被随机化以尽量减少任何偏差。我们通过让参与者首先从他们面前桌子上的一堆卡片中抽取一张卡片，翻转卡片并大声读出卡片上指代对象的描述来实现这一点。因此，视频录像相匹配指代对象的文本描述显示在平板电脑上。参与者可根据需要多次观看录像。随后，他们被要求探索笔与空中手势以及笔和多点触控手势，以实现视频中展示的效果。同时，他们也被要求出声思考。

最后但同样重要的是，我们询问了他们更喜欢将哪些手势用于笔和空中操作输入，以及更喜欢将哪些手势用于笔和多点触控输入。然后，我们要求他们使用（5项）李克特量表对这两种手势的好用性和易用性进行评分，并选择他们更偏好的模态，同时简要说明其偏好原因。

所有会话均被录像记录，并由三名研究人员进行事后标注。总体上，我们收集了300个手势（即150个笔和空中手势，以及150个笔和多点触控手势）。

实验室研究结果与讨论

用户偏好的效果

要求每位参与者使用两个李克特量表，对自己提出的针对指代对象的两种输入手势（笔和多点触控，以及笔和空中操作）进行评分，分别评估其与预期用途的匹配度以及执行难易度。此外，我们还要求参与者对每个指代对象选择他们偏好的模态。

分析主观评分，我们发现笔与多点触控输入被认为比笔和空中输入更容易使用（χ2= 14.80，p¡0.001）。笔与多点触控输入也被认为比笔和空中输入更符合预期用途（χ2= 16.53，p¡0.001）。

用户偏好

手势集 (#)	笔与空中	笔与多点触控
全部（300）	40%	60%
单手 (240)	31%	69%
双手（60）	57%	43%

表2. 用户对输入模态和使用手数的偏好概述。

然而，在所有情况下，只有60%的用户更倾向于选择笔和多点触控选项而非笔和空中操作替代方案（见表2）。也就是说，在40%的情况下，用户更喜欢笔和空中操作而非笔和多点触控。在所有手势中，80%为单手执行（使用P或NP），20%为双手执行。对于双手手势，57%的用户更偏好笔和空中输入，43%更偏好笔和多点触控。当用户选择使用双手进行输入时，确实更倾向于笔和空中输入而非笔和多点触控（χ 2 = 8.19，p¡0.005）。

用户建议使用双手输入来更改笔的墨水大小（#12）、画笔（#12）以及笔的墨水颜色（#11），在时间线中移动（#7），带焦点放大（#7），旋转画布（#4），放大/缩小（#4），水平/垂直移动画布（#2），以及撤销（#1）。

图7展示了指代对象的复杂性（由专家评定）与用户偏好之间的关系，同时考虑了输入方式和使用的手数。用户似乎更倾向于对复杂度较高的指代对象使用笔与多点触控输入（χ2= 32.78，p¡0.001）。在图7的右侧，看起来更复杂的指代对象似乎被映射到双手操作，但统计分析显示无显著效应（χ2= 13.51，p=0.06）。

总之，当用户更喜欢使用双手输入时，他们似乎更倾向于使用笔和空中操作而非笔和多点触控。对于完成简单操作，用户似乎更偏好笔和空中操作而非笔和多点触控。

笔和空中手势分类法

起初，我们使用沃布罗克等人提出的[29]表面手势分类法，沿用形式维度（对于双手手势应用于非主导手（NP），若仅使用主导手（P）则应用于P）、性质、绑定和流，对我们收集的300个手势进行注释。在第二轮中，我们增加了两个额外的维度，旨在改进笔和空中输入过程中空中手势动作的分类（见图6a和图6b）。

在第二轮中，我们借鉴了Ruiz等人提出的移动交互动作手势分类法[25]。首先，我们引入了一个维度(手势组合nation)其中包含简单（即单个手势）以及串行和并行手势，这是对非简单手势（即可分解为简单手势的复合手势）的分类。此外，我们增加了一个第二维度手势手背，用于描述在笔和空中输入过程中非主导手位置随时间的变化。对于手势手背的类别，我们使用x、y和z表示轴，并用“+”或“‐”符号表示方向信息。在我们的设定中，x轴和y轴代表桌子所形成的平面，z轴代表桌子上方的空间。例如，“+z”意味着在整个手势过程中手背始终朝上并远离桌面（以及屏幕表面）。“‐x”意味着手背始终侧向远离平板电脑。

笔和多点触控 vs. 笔和空中输入

和 b) 展示了笔与空中手势以及笔和多点触控手势在每种分类法中手势所占的百分比；c) 展示了所有指代对象及两种输入模式（即笔+空中和笔+多点触控）的一致性评分概览。)

图6a和图6b对两种输入模式（即笔和空中操作，以及笔和多点触控）进行了总体分类，并在解释手势执行方式的维度上对它们进行了比较，这些维度包括物理特征（如连续与离散手势）以及概念特征（如隐喻与象征手势）。

数据表明空中手势与多点触控手势之间存在相似性，尤其是在流（即连续手势和离散手势的比例在两种输入模式中相似）和自然性（即两种输入模式主要被归类为物理性和隐喻性）这两个维度上。然而，图6a和图6b还显示，尽管两种模式都高度以对象为中心（例如，需要有关其生成或影响的对象的某些信息），但从手势绑定来看，多点触控手势更依赖于环境（例如，必须直接在触摸屏上执行）。就手势不仅往往是静态的，而且空中手势中存在的路径而言，空中手势的分类不同于多点触控手势。

图6c显示了每个指代对象的一致性分数，并展示了参与者之间达成共识的总体情况。当更多用户达成一致时，一致性分数更高针对同一指代对象使用相同的手势。一致性分数采用沃布罗克等人提出的数学公式计算[29]。我们报告的分数与沃布罗克报告的表面手势分数相似。例如，对于指代对象“放大”，他们报告的表面手势的一致性分数约为0.25（单手手势）和约0.27（双手手势）。

正如预期，笔与多点触控输入的一致性高于笔和空中输入。然而，对于“更改笔的墨水颜色”、“关闭/打开菜单”以及“增加笔的墨水颜色”等指代对象，参与者在使用笔和多点触控输入时表现出较高的一致性分数，这主要是因为他们经常在触摸屏上通过想象一个按钮并点击该按钮来实现效果，例如点击以打开工具菜单。也就是说，可以认为，当参与者告诉我们并演示他们将通过点击一个不存在的按钮来产生效果时，实际上他们并未在不改变图形界面的情况下实现该效果。

为使用笔和空中输入定义手势集

根据我们计算的一致性分数，已为笔与多点触控输入以及笔和空中输入分别构建了手势集。也就是说，我们将每个指代对象中最多用户一致使用的相同手势分配给该指代对象。我们观察到多种笔与多点触控手势，例如不同形式的捏合手势（如使用主导手进行捏合、使用非主导手进行捏合、用两个或更多手指捏合、使用非主导手捏合并结合主导手在屏幕上设置焦点）。然而，一致性最高的手势是使用非主导手在屏幕上执行的标准捏合手势，用于缩放画布，以及在捏合手势触屏位置处进行聚焦放大。对于扭转手势以旋转画布、平移手势以移动画布，以及点击手势以打开/关闭各种菜单，也得到了相同的结果。因此，用户希望执行的这些多点触控手势已经存在，并且能够被当前的高端触摸设备识别。

考虑到空中手势，我们观察到更多的冲突，即同一手势被多个操作所偏好。然而，用户总体上仅对少量手势达成一致，例如握拳、手掌摊开或捏合手势。与直接在目标上执行的触摸手势相比，在执行空中手势时，用户应用了近体信息，例如非主导手（NP）朝向屏幕的朝向，或非主导手（NP）到屏幕或三维中某个虚拟物体的距离。

对于缩放或旋转操作，该虚拟物体常被称为“摄像头”，假设非主导手（NP）代表平板电脑上的画布，该画布显示摄像头图像。因此，用户建议通过移动手相对于虚拟摄像头位置（通常想象在头部高度）来实现对画布的缩放和旋转操作。

根据用户一致意见并考虑任何冲突后计算出的一组空中手势如图8左侧所示。与相关研究类似，我们观察到针对二分参照物存在可逆的手势，因此尽可能将它们合并，以优化最终的手势集合。一些用户提出的一个担忧，也是空中手势设计中众所周知的问题，即识别手势识别何时开始和结束。我们在解决冲突时考虑了这个问题，即当必须在用户同样认可的两个手势之间进行选择时。如上所述，一些用户采用了心理模型，使用锚定机制，无论是通过虚拟物体，还是通过平板电脑、笔或手指触摸。因此，一些手势在概念上与已提出的用于三维内容的双手输入或在桌面系统上方进行三维建模的手势相似（例如，[18]）。

研究发现与启示摘要

我们在研究过程中获得的见解支持了最初的假设，即当主导手用于使用笔时，非主导手执行的空中手势有望补充平板电脑上的双手输入。我们的结果表明，用户认为笔和空中输入是一种可用的交互技术，相关的用户体验描述主要为正面感受，例如有趣、令人兴奋、嬉戏和吸引人。

我们认为，空中输入为富有表现力和身体参与的交互提供了广阔的空间，因此当其整合到基于笔的用户界面中时，有望使交互更具吸引力。

在实验室研究中我们发现，用户更倾向于使用非主导手（NP）的空中手势而非多点触控手势来补充笔输入以完成简单操作。对于复杂操作，或当操作可以单手（即主导手P）完成时，用户则更偏好使用多点触控。因此，在需要双手配合进行操作时，用户更倾向于使用非主导手（NP）的空中手势而非多点触控手势。这种情况通常发生在用户认为需要先打开菜单再进行选择时（例如，选择新的画笔）。一名用户表示“使用空中手势感觉干扰更少......能够持续专注于当前任务”。

相关研究已经论证了双手输入的性能优势（例如，[20]），我们自己在情境访谈中也观察到，非主导手（NP）经常被用来执行快捷操作（例如，使用键盘激活橡皮擦工具，而不是翻转笔身）。似乎与多点触控手势相比，人们更倾向于使用非主导手进行空中手势操作，因为后者似乎需要更低的精确度，并且对环境依赖更少（例如，不需要在特定空间内执行）。基于笔的输入通常需要较高的精确度。因此，通过空中手势以更高的动作自由度、无需精确控制来快速设置模式、打开菜单等操作的优势显而易见。

回顾来看，我们为笔和空中输入所提出的一组手势可以更准确地描述为：使用非主导手（NP）进行空中手势操作，以补充主导手（P）的使用笔操作。此处的主导手使用笔操作是指用户手中可能持笔，但仍能够且倾向于执行多点触控输入。例如，用户在仍握有笔的情况下，可用中指和拇指执行捏合手势。

局限性与下一步工作

在我们的研究中，尚未详细探讨使用笔的行为，但我们发现，在使用笔的过程中，用户会调整握笔方式，以便在仍手持笔的同时使用手指触摸或多点触控。欣克利等人[15]研究了平板用户握笔行为，并提出了笔握持方式的分类法。

我们认为，不仅可以直接将笔、手指触摸或笔悬停与空中输入结合用于双手输入，还可以利用握笔行为本身。正如欣克利等人[13], 所提出的，我们也认为可以利用笔的移动来辅助在触摸屏上的双手输入；然而，在我们的实验室研究中，用户并未被明确指示去探索笔的移动，他们自身也没有主动尝试将笔的移动作为一种操作方式。

考虑到用户并未选择使用非主导手（NP）执行复杂的空中手势，且人们可能已经佩戴智能手表或腕带，在下一步中可以设想探索这些可穿戴技术的功能是否已足够实现我们所提出的空中手势集。

总体而言，我们相信我们提出的见解将有助于改进各种设备的双手输入设计，例如手机、手表以及具有类似显示屏的其他设备。包括大但图形信息过载的屏幕和屏幕区域。此外，我们预计触摸屏和基于笔输入技术领域的持续技术进步将使本文的贡献更具价值和生态有效性。

结论

我们报告了一系列研究，探讨了笔和空中输入作为平板电脑上双手操作输入模态的潜力。我们的研究始于一个基于现成技术的原型系统，并在实地研究中使用该系统观察了大量用户，评估了笔和空中输入作为一种交互技术的可用性和用户体验。关于可用性和用户体验的积极反馈证实了我们最初的假设，并激励了后续的研究。这些研究包括确定平板电脑上使用笔的相关操作，探索用户希望执行的手势，以及了解用户何时会选择笔和空中输入而非笔与多点触控输入，反之亦然。

我们发现，当用户倾向于在平板电脑上使用双手输入时，他们似乎更偏好笔和空中操作而非笔和多点触控。此外，对于完成简单操作而言，笔和空中输入也比笔与多点触控输入更受用户青睐，因为它为非优势手提供了更大的动作自由度。同时，它还提供了一种快速打开菜单、切换模式等操作的方式，而无需分散对屏幕以及主导手持笔操作的注意力。我们的研究提出了一套用于笔和空中输入的手势，可作为对笔与多点触控输入的补充替代方案。