第二十天：DMove: Directional Motion-based Interaction for Augmented Reality HeadMounted Displays

我们提供了DMove，基于定向运动的交互为增强现实(AR)头戴显示器(HMDs)，这是无手和设备的。它使用定向行走作为与虚拟对象交互的一种方式。要使用DMove，用户需要执行定向运动，如向前或向后移动一只脚。在本研究中，我们首先研究了我们的方法对运动方向的识别准确性，以及对这类互动的社会接受度，以及用户对每个方向的舒适度评价。然后，我们优化了其设计，并进行了第二项研究，比较DMove的任务表现和用户偏好（工作量、晕动病、用户体验），采用两种方法——手交互(meta2样)和Head+手交互（菜单选择任务）。基于这两项研究的结果，我们提供了一套关于DMove的指导方针，并进一步演示了利用方向性运动的两个应用程序。

介绍

增强现实(AR)允许用户通过头戴式磨损显示器(HMDs/HWDs)与覆盖在物理空间上的虚拟对象进行交互。通常，手势输入[13,53]优于键盘和鼠标。ARhmd有传感器，可以检测头部和手的运动[31,36,37]。这些传感器还可以捕捉到身体运动（例如，前后或左右移动身体），假设头部的位置是用户的位置，用户的头部可以随着身体向某个方向移动。与基于头部和手的手势不同，身体运动尚未不足，因此在当前的AR系统中没有得到充分利用。与基于手和头部的运动相比，身体运动有几个好处。基于手的动作通常要求用户将手放在半空中，这可能导致长时间交互时的手臂疲劳[39]；它还可能导致不准确的交互（例如，不想要的菜单项选择）——例如，当用户的手不小心离开hmd的小跟踪区域时。同样，hmd经常导致晕动病，当频繁使用头部运动时，有增加疾病[60]的风险。通过身体运动，我们可以避免手臂疲劳，并尽量减少运动病，正如我们后面的结果所示，仍然允许交互的高准确性和良好的可用性评级。我们的研究探索了使用定向身体运动与ARhmd相互作用基于对象选择的准确性、任务完成时间和用户对工作量、晕动病和整体可用性的主观反馈。本文的重点是菜单项的选择，但其结果适用于其他类型的交互和界面。

目前，有三个主要的商用增强现实硬件——Meta2[36]、MagicLeap1[31]和全息透镜[37]。图1显示了每个设备如何支持用户与虚拟环境的交互。Meta2允许基于手的交互，用户需要将他们的手移动到菜单项上，并通过使用手势（即抓住）来确认选择。全息透镜使用一种混合的方法来进行菜单选择，其中一条光线从虚拟相机的位置延伸到观看方向，并进入虚拟环境。光线的末端类似于一个光标，用户通过一个手/手指手势（即手点击）来确认选择——换句话说，它要求用户使用他们的头来移动光标和他们的手来进行选择。这项研究只考虑了无设备的方法，因为它们比基于设备的方法更灵活，并且可以用于更多的场景、环境和类型的AR设备。

在本文中，我们提出了DMove，一种与ARhmd交互的方法，不需要手持设备，并避免了使用头部运动的需要；相反，它使用了定向的身体运动。在我们的方法中，系统被训练来识别有两个距离（远和近）的用户周围可能的定向身体运动。当系统预测用户已经做出了一个特定的动作时，就会进行选择。我们的方法只需要当前ARhmd中已经出现的传感器，比如Meta2；与MagicLeap不同，它不需要手持设备。在两项研究的第一个，我们探讨了两个方面。第一个问题是关于我们的识别方法的可行性和准确性，第二个问题是关于评估用户对基于定向运动的互动的社会接受度，以及他们在每个方向上感知到的身心舒适水平。基于这些结果，我们优化了我们的技术，在第二项研究中，我们比较了DMove与基于手的交互(如Meta2用户可用的交互)和Head+基于手的交互（类似于用户使用全息透镜进行的操作）。菜单选择是被选择的任务，因为它是AR和其他类型的hmd中常见的活动。基于这两项研究的结果，我们能够提取出一套基于定向运动的界面的指导方针。此外，我们还提供了两个示例应用程序，它们可以在菜单选择之外利用dmove类型。

本文的贡献包括：（1）一种运动方向识别方法，不需要额外的手持设备或传感器；（2）优化的基于方向运动的界面(DMove)；（3）对AR高清的3种菜单选择方法的评估；（4）一套使用基于方向运动交互的应用程序的指导方针；和（5）两个外部的应用程序，使用DMove作为交互接口。

DMOVE

在本节中，我们将讨论DMove的运动识别方法和我们的研究一的接口。

我们使用机器学习来对用户的运动方向进行分类。我们不是通过运动模式（即三维空间中传感器加速度值的变化）来对其进行分类，而是通过识别手势（即运动结束时的姿势）。这是因为前一种方法并不总是有效的，因为一些hmd，如Meta2，不允许访问它们的加速数据；我们想让这种方法适用于所有的ARhmd。

分类测试特征为∆Pxi、0、∆Pyi、0、∆Pzi、0、P0与Pi之间的移动距离、坡度m。只有∆Pxi，0和∆Pzi，0被包含在我们的数据集中，因为使用Weka[18,56]进行的特征分析表明它们是前2个特征，并且所有的预测都是基于它们的。我们应用Weka提供的随机森林分类器来预测运动方向。图3显示了算法的流程图。

我们提出了两个基于八个方向的界面：东(E)、东北(NE)、北(N)、西北(NW)、西(W)、西南(SW)、南(S)和东南(SE)。图4显示了这两种设计。第一个设计是8块DMove，每个方向都有一个距离级别——无限制（我们建议距离起始位置至少20厘米以提高精度）；另一个是16块DMove，每个方向都有两个距离级别——接近（我们建议距离起始位置30厘米）和远（我们建议距离起始位置60厘米）。我们想在用户周围使用两个级别的距离（远和近），因为在两个级别上，该技术可以有更多的接口项目，但这也可能会影响区分这两个级别的预测精度。为了直观地引导用户，这两个界面都显示在他们的视图前面就像一个GUI一样，图4中的小白点表示头部的位置。

实验一：精度测试

在本研究中，我们重点关注了我们的运动方向识别技术的准确性。我们还调查了社会对这些动作的接受程度（即用户会在谁面前接受执行这些动作，以及在哪里）和做这些动作的舒适度（心理和身体）。

实验采用单向被试内设计，自变量为界面16块和8块。我们对两个变量感兴趣，（1）目标方向-E、NE、N、NW、W、SW、S、SE；和（2）目标距离-近、远和无极限。参与者被要求首先为两个接口进行训练数据收集，然后进行测试。接口的顺序被平衡了。
评估指标列出如下：

• 准确性。准确性的测量是基于再现性[17]，以及系统对从不同会话收集的数据的稳定性和可伸缩性。当分类器无法预测正确的运动方向时，就记录了一个错误。
• 身心舒适。它量化了用户的舒适度（身体和心理）在每个目标方向×目标距离组合中的变化。我们使用5点李克特问题来收集数据。有测量疲劳和舒适性的测量工具。其中最常见的一种是6-20博格等级的[6]。然而，我们并没有选择使用这个量表，因为它似乎更适合单独测量身体上的舒适性。我们使用的问卷测量了参与者在与ARHMD互动时的身心舒适度。
• 社会可接受性。我们采用了[1]的问卷（见图5）来评估用户在哪些地方和谁面前愿意做动作。

实验开始于每个接口的数据收集会话，其中接口的顺序被平衡。该系统将要求参与者从N开始进行每个方向移动5次，然后按顺时针方向移动，直到最后一个方向，即NE→E→SE→S→SW→W→NW。对于16个块的DMove，系统会要求参与者先做目标方向×关闭，然后做远。对于8块的DMove，他们只需要对每个方向进行“无限制”移动。他们被要求让头部以一种自然的方式跟随他们的身体运动，以帮助他们保持平衡和头部稳定。在这两种条件下，参与者被要求填写身体/心理舒适度问卷。

在数据收集会话后，他们进行测试。接口的顺序与每个参与者的数据收集会话相同。然而，与测试阶段不同的是，方向有一个固定的顺序，在这个阶段，系统的方向是随机的。这样做是为了更好地评估该系统的准确性，并避免参与者的肌肉记忆。与数据收集过程类似，参与者必须到达每个方向五次。在实验结束时，参与者完成了社会可接受度问卷。整个实验持续给每个参与者约30分钟。

结果

• 精度我们使用了从训练会话中收集的2880个实例来训练模型，并使用了来自测试会话的另外2880个实例来测试它。8块DMove的准确率、准确率、查全率、f-测量值均为100%，16块的准确率分别为98.06%、98.2%、98.1%、98.0%。从图6a中混淆矩阵的红色块中可以看出，大多数错误的预测都发生在南近，而我们的识别方法预测的南近为南远。
• 主观反馈。收集的数据采用双向重复测量方差分析，采用两个因素进行分析。Bonferroni校正用于两两比较。对于违反球度，我们使用了温室-盖瑟调整自由度。
• 身体舒适。图6b显示了针对目标距离的各方向的物理舒适性等级。一个方差分析显示了目标方向(F3.029,16.737=11.130，p<.001)和目标距离(F1.860,20.458=13.899，p<.001)对物理舒适度的显著影响。而目标方向×的目标距离(F14,154=1.076，p=.383)则没有发现显著的交互作用。对于目标方向，事后两两比较显示N-SW、E-SE、E-S、E-S、E-SW、SE-SW、SW-W、SW-NW之间存在显著差异(均为p<.05)。在N-SE（p=.073）、N-S（p=.076）、SE-NW（p=.053）、和西南部（第=.063页）。对于目标距离，两两比较显示，近和远(p=.001)、无限制和远(p=.005)之间存在显著差异，而近和无限制之间没有显著差异(p=1.000)。
• 精神上的舒适。图6c显示了目标距离的每个方向的心理舒适度等级。一个方差分析产生了目标方向(F2.420,26.619=17.492，p<.001)和目标距离(F2,22=8.305，p<.05)对心理舒适度的显著影响。然而，目标方向×的目标距离没有显著的交互作用(F4.032,44.355=1.868，p=.132)。对于目标方向，事后两两比较显示，N-SE、N-S、NE-SE-SE、NE-S、NE-SW、E-SE、E-S、E-SW、SE-W、SE-NW、S-W、S-NW、SW-NW之间存在显著差异(均为p<.05)。对于目标距离，两两比较显示，近和远、无极限和远之间存在显著差异(p<.05)，而近和无极限之间没有显著差异(p=1.000)。
• 社会可接受性。参与者在完成任务中的总体感受被评为4.5分。= .195).我们计算了每个给定的观众和地点的接受率，使用了在其答案中选择每个观众/地点的参与者的百分比（见图7）。科克伦的Q检验显示，观众之间存在显著差异（χ2（5）=20.606，p<.001）。事后McNemar测试(Bonferroni：α-水平从0.05到0.004)显示，接受陌生人参与其中的比例明显低于单独参与其中的参与者(p<.004)。此外，参与者的回答表明，这个位置会影响他们使用定向运动的意愿。科克伦Q检验显示不同位置之间存在显著差异（χ2（6）=39.368，p<.001）。事后McNemar测试(Bonferroni：α水平从0.05到0.0.04)显示，在家中使用DMove的接受率显著高于在商店或其他公共场所和人行道上(所有p<.004)。

讨论

• 基于方向运动的接口。我们的方法在8和16块DMove界面识别用户移动方向方面显示了很好的准确性。原因是在我们的数据集中使用的属性清楚地区分了移动方向（见图8）。参与者的主观反馈表明，向南运动会导致身体和身心不适。在实验过程中，我们还观察到，由于他们的身体属性，每个参与者都有自己的定向运动倾向——例如，较高的用户能够比较短的用户走更长的一步。因此，我们相信使用用户自己的运动数据可能会提高预测性能，因为它会考虑每个参与者的物理特征。
• 社会可接受性。根据社会接受度问卷的结果，大多数参与者对基于dmove的界面非常积极；只有一个参与者给出了较低的评分3。他们愿意单独或在熟悉的人面前做定向动作(见图7a)。他们更喜欢私人空间（如他们的家和工作场所），而不是公共区域(见图7b)。基于这一反馈，我们建议在室内场景（即家庭或工作场所）和在用户熟悉的人面前使用dmove类型的界面。
• 最优化基于性能和主观反馈，我们决定进一步使用16块界面并进行优化。由于用户很难向S方向移动，我们决定对S、SE和SW方向做一些调整。我们去掉了S，并将2级的SE和SW方向合并成一个单一的方向。通过这种方式，用户可以很容易地向这两个方向（现在是更大的方向）前进。在这些更改之后，DMove界面有12个项目(图10b)。
  
  
  

实验二：

在第二项研究中，我们探讨了使用DMove进行菜单选择，这是ARhmd中一种非常常见的活动。我们比较了DMove的性能、适用性和可用性，以及两种无设备的交互方法，基于手动和混合的(Head+Hand)，用于菜单选择，因为它们代表了当前AR设备中两种最常见的、最可用的选择菜单项的方法。与研究一类似，我们也测量了这三种方法的工作量、晕动病和用户体验。我们只考虑了设备开发方法，因为它们适用于更广泛的场景和hmd类型。

我们评估了以下3种菜单选择的选择方法：

• 基于手动的交互（或简单的手动）。这与Meta2所提供的类似。要在菜单中选择一个项目，用户必须在半空中移动由一只手控制的光标，将其悬停在项目上，然后做一个手掌关闭手势来确认其选择。图9（1）显示了这个场景。视觉反馈，以额外的绿光和放大的项目的形式，被提供，以表明手是否被正确地放置在项目上。将播放一个声音来确认选择。我们从Meta2的开发者Meta公司提供的一个示例演示中修改了代码。
• 基于混合交互的交互（或简称为混合交互）。这类似于全息透镜中的菜单选择，用户必须移动头部来控制光标，并将其放置在一个项目上——选择是通过一个手势来确认的。HMD将跟踪头部运动，向虚拟环境投射一条射线。光线的末端类似于一个光标，作为视觉反馈。手动检测光标通知用户光标的状态。当选择时，会播放一个声音。图9（2）显示了该方法的一个示例。
• 基于定向运动的交互(DMove)。在这种情况下，用户必须用一只脚将身体移动到表示菜单项的方向位置。对于所执行的任何运动，分类器都将返回方向和块。在HMD上提供了一个显示用户位置的光标作为视觉反馈，如果进行了选择，就会播放一个声音。图9（3）显示了一个用户将如何选择网元项的示例。

我们根据官方设计指南[35]设计了菜单项（见图10），该指南建议它们应该距离用户约0.5米。但是，无论如何，用户仍然可以在实验开始前调整他们和菜单项之间的位置到一个舒适的距离。我们使用网格菜单布局来进行手动和混合交互，因为全息透镜和Meta2都有依赖于这种类型的布局的应用程序。例如，Meta2的开发人员提供了一个使用网格布局的指导方针和一个官方应用程序——我们遵循了这些指导方针，并为这个实验调整了该应用程序。我们没有为DMove使用网格布局，因为它不能代表周围身体交互的自然映射。我们对径向布局的选择是基于一个试点研究和以前的研究[21,32]的反馈。

过程

实验采用3×2的受试者内部设计，包括两个因素：选择方法(混合、手和DMove)和菜单大小(大-与Meta2工作空间相同，小-80%)。选择方法×菜单大小的组合被平衡。整个实验对每个参与者持续了约一个小时。在试验开始前，参与者被要求完成一份实验前的调查问卷，以收集人口统计信息，并被告知研究的目的。由于研究一建议使用用户的数据集可以帮助提高识别的准确性，所以我们在第一次测试会话之前从每个用户那里收集数据来训练我们的系统。这次数据收集会议的进行方式与研究一相同，但方向较少，而且花费的时间也差不多2-4分钟。为了平衡条件，参与者还被给予了多达5分钟的手和混合互动训练。当参与者感到休息并准备好了时，他们将继续进行测试。在每个会话中，每个块（代表一个菜单项）将随机出现一次，总共五次。每次会议结束后，参与者完成了三份问卷：NASA-TLX[20]、用户体验问卷(UEQ)[30]和晕动病评估(MSAQ)[15]。我们指导参与者尽可能保持头部稳定和舒适的姿势。最后，我们要求他们对每个接口提供评论。实验返回3个（选择方法）×2（菜单大小）×12（块）×5（次）×18（参与者）=6480次试验。

结果

我们使用两个自变量的双向重复测量方差分析分析数据，选择方法(手，混合，DMove)和菜单大小（大和小）。Bonferroni校正用于两两比较，温室-盖瑟调整用于违反球度的自由度。

• 任务性能。图11显示了六种布局中的任务完成时间和错误率。对于任务完成时间，方差分析检验没有显著影响选择方法(F1.197,20.341=2.555，p=.121)、菜单大小(F1,17=1.108，p=.307)和选择方法×菜单大小(F1.219,20.715=1.177，p=.303)，表明每种选择方法的完成时间相等。在错误率方面，选择法有显著的主效应(F1.506,25.610=14.138，p<.001)，而菜单大小没有显著的主效应(F1,17=.524，p=.479)，选择法×菜单大小没有显著的交互效应(F1.940,32.980=2.069，p=.144)。事后两两比较显示，手和混合、手和DMove之间存在显著差异(均为p<.05)；这意味着手的错误率高于混合和DMove。Hybrid与DMove之间无显著性差异。
• NASA-TLX工作量。在总体工作负载方面，DMoveLarge被评为最佳(M=36.63，SD=17.07)，而HandSmall(M=47.80，SD=21.13)被评为最差。方差分析检验对选择法(F1.514,25.732=4.676，p<.05)有显著影响，但对菜单大小(F1,17=2.806，p=.112)和选择法×菜单大小(F2,34=.211，p=.811)没有显著影响。事后两两比较显示，混合体和Hand、DMove和Hand之间存在显著差异(均为p<.05；见图12a)。
  关于NASA-TLX工作量分量表，方差分析得出了选择方法(F2,34=2.947，p=.066)对心理的密切显著影响；选择方法(F2,34=2.927，p=.067)；选择方法(F1.544,26.240=3.533，p=.054)对挫折的密切显著影响；选择方法(F2,34=3.094，p=.058)对努力的密切显著影响。没有发现其他显著或密切显著的影响。
• 用户体验。UEQ的分数从-3（非常糟糕）调整到3（优秀）。图12b显示了六种布局中的总体UEQ得分。方差分析检验对选择方法(F2,34=6.371，p<.01)有显著影响，但对菜单大小(F1,17=2.498，p=.132)没有显著影响。对选择方法×菜单大小没有显著的交互作用(F1.350,22.956=.202，p=.730)。事后两两比较显示，Hybrid和DMove以及Hand和DMove之间存在显著差异(均为p<.05)。
  在UEQ分量表中，方差分析检验得出了选择方法(F2,34=6.167，p<.01)对吸引力的显著主效应。两两比较表明DMove比Hand和Hybrid更有吸引力(p<.05)。菜单大小(F1,17=6.115，p<.05)对刺激有显著影响。事后两两比较显示，小菜单比大菜单从用户那里购买了更多的刺激(p<.05)。没有发现其他显著的影响。DMove在UEQ分量表上的表现优于Hand，Hybrid（见图13）。
• 运动厚度。在总体疾病评分方面，DMoveSmall被评为最差(M=19.29%，SD=12.55%)，手Small被评为最佳(M=16.59%，SD=8.73%)。离散分析f1.5000选择法(F1.207,20.521=2.860，p=.100)、菜单大小(F1,17=1.569，p=.227)和选择法×菜单大小(F1.390,23.626=1.224，p=.297)对整体晕动病无显著影响。对于MSAQ分量表（胃肠道、中央、外周、睡眠相关），方差分析结果显示，选择法(F2,34=4.265，p<.05)对外周有显著影响，选择法(F1.149,19.532=4.022，p=.054)对中心的主效应密切显著。没有发现其他显著的影响。事后两两比较显示，任何选择方法对外围设备之间没有显著影响。

sample application