ABSTRACT
混合现实（MR）远程协作支持共享工作空间和各种非语言通信提示，使远程专家能够在沉浸式虚拟现实（VR）空间中表达想法，并通过创建增强现实（AR）指令（如远程装配/拆卸指导、紧急维护和培训）来指导本地工人完成工业物理任务。然而，由于地理分布导致的信息不对称，远程专家在综合考虑情境信息（例如，与任务相关的对象和伙伴的环境）。环境智能的发展为构建支持自适应指令生成的新型远程协作框架带来了新的思路。在本研究中，我们开发了一个新颖的MR远程协作原型系统，该系统能够基于远程专家简单直观的交互和本地上下文信息，自动、自适应地生成清晰、详细、标准化的AR指令，以辅助远程专家指导本地工人完成工业物理任务，尤其是工业装配任务。在一项用户研究中探讨了两种界面对涉及相对复杂的过程信息和环境的工业装配任务的影响：一个是使用典型MR远程协作接口来支持远程专家使用共享的本地3D立体场景中的流行的非语言通信提示来创建指令（RECI）的基线解决方案，另一个是我们的新接口，它在典型接口之上还支持通过上下文感知（AGICA）自适应地生成指令。用户研究结果表明，与RECI相比，AGICA显著提高了协作性能，减少了错误和工作量，增强了可用性和用户体验。这表明，支持指令的自适应生成是在具有相对复杂的过程信息和环境的工业装配任务中增强MR远程协作的一种可行方式。研究结果对此类任务中MR远程协作系统的设计有一定的指导意义。
1. Introduction
在当今高度全球化的制造业和互联的商业环境中，工业物理任务的远程协作变得越来越流行。远程协作通常是指地理上分布的人参与联合的、相互依赖的活动以实现共同目标的过程（Ens等人，2019; Hauber，2008; Kim，Billinghurst，& Lee，2018 a; Kim，Billinghurst，Lee，& Lee，2018 b）。工业体力劳动指的是在工业环境中对真实的三维世界中的具体物理对象执行动作（Fussell等人，2003，2004; Huang & Alem，2013 a，2013 b）.在许多工业制造系统中，当专家不在附近时，当地工人可能需要远程专家的监督和帮助来协作完成物理任务，例如远程组装/拆卸指导（Anton，Kurillo和Bajcsy，2018; Wang等人，2022 a; Zhang等人，2022 a），紧急维护（Gurevich，Lanir，& Cohen，2015; Huang，Kim，Billinghurst，& Alem，2019; Marques等人，2022 a）和远程培训(Ferrise, Caruso, & Bordegoni, 2013; Wang et al., 2017, 2021a).
随着混合现实（MR）技术的快速发展（Arnaldi，Guitton，& Moreau，2018; Speicher，Hall，& Nebeling，2019），出现了许多紧凑型、便携式和功能强大的设备（例如，3D摄像机、MR头戴式耳机和手部跟踪器），为MR远程协作提供硬件和软件支持。MR远程协作是一种基于MR技术的远程协作形式，是一种“以人为中心”的技术过程，使地理上分散的人们能够通过MR空间感知和分享协作情况，并通过MR界面表达想法和协作意图，从而克服地理限制共同开展活动（Ens等人，2019年; Wang等人，2021年b月）。许多研究人员从几个不同的角度关注MR远程协作，并证明MR技术已逐渐成为远程协作工业物理任务的重要组成部分（Liu，Xie，Wang，& Meng，2023; Wang et al.，2021年b月）。
在工业物理任务的远程协作中，支持远程专家创建清晰、详细的指令对于高效、正确和安全地执行任务至关重要。不明确的远程协作指示可能会导致几个潜在的后果。一方面，它可能导致本地工作人员和远程专家之间关于指令解释的重复通信，从而降低协作效率并增加工作量。另一方面，当地工人对指令的误解可能导致工业物理任务中的不正确或危险操作，可能导致目标产品无法使用，甚至导致当地工人受伤。当前的MR远程协作研究从两个方面支持远程专家创建指令。一方面，通过3D重建支持立体本地场景的共享，允许远程专家自由探索，以在沉浸式VR空间内保持有效的工作空间感知和空间参考（Teo，Lawrence，Lee，Billinghurst，& Adcock，2019; Zillner，Mendez，&瓦格纳，2018）;另一方面，通过支持在真实的工作空间上添加基于AR的非语言通信线索，诸如注释（例如，文本（Fang，Xu，Yang，& Bian，2020），指针（Kim等人，2013年b; Kim等人，2019）和素描（Gauglitz，Nuernberger，Turk，& Höollerer，2014; Kim，Lee，& Sakata，2013 a）），手势（Huang，Alem，Tecchia，& Duh，2018; Wang等人，2019 c），凝视（D 'Angelo & Gergle，2018; Wang等人，2022 b）和3D模型（Elvezio，Sukan，Oda，Feiner，& Tversky，2017; Wang et al.，2019年b），加强远程专家的演示操作和思想表达。
然而，当前的MR远程协作在支持远程专家为工业物理任务，特别是涉及复杂过程信息的工业装配任务创建指令方面仍存在一些局限性。一方面，共享的3D立体局部场景努力平衡实时更新与高质量（Teo等人，2019），没有实体和反馈，因此远程专家很难准确了解当地的情况（De Pace等人，2021），并创建精确的3D草图或在空间中准确放置3D模型（Huang & Rai，2018; Oda等人，2015年）的报告。因此，创建的指令可能与共享场景和虚拟对象存在不正确的空间关系，从而导致本地工作人员锡永。另一方面，对于具有复杂过程的工业装配任务，远程专家需要联合收割机多个通信线索，为每个任务步骤创建多个指令，以表达完整的过程信息（Kim，Lee，Billinghurst，& Huang，2020），如装配路径、装配方法、相关工具、装配工艺参数、这不仅导致了繁重的工作量，而且还受到远程专家在结构创作中的偏好的影响，这在远程专家的思想表达和本地工人对结构的理解方面都造成了困难。因此，在MR远程协作的工业物理任务，尤其是涉及复杂过程信息的工业装配任务中，为本地工作人员创建清晰、详细和标准化的指令，仍然是远程专家面临的重大挑战。
在过去的几年里，环境智能（AmI）（Aarts & Wichert，2009）引起了越来越多的研究人员的关注。AmI的主要目标是通过上下文感知计算环境过滤和选择服务，实现对用户上下文信息的智能适应，从而改善用户的体验和日常生活（Gallardo，Bravo，& Molina，2018）。受环境智能的概念和我们先前关于自适应MR远程协作平台的工作的启发（Wang等人，2019a），在这项研究中，我们开发了一种新型的MR远程协作架构，用于工业物理任务，特别是需要复杂过程信息的工业装配任务。该架构支持基于上下文信息自适应生成清晰、详细和标准化的AR指令，以帮助远程专家为本地工人创建指导信息。据我们所知，很少有研究已经做了MR远程协作，支持自动和自适应生成的指令的基础上的上下文信息。因此，它是值得探索的支持基于上下文感知的自适应生成的指令是否可以提高MR远程协作在工业物理任务。
该研究的贡献如下：
实现了一种用于工业装配任务的新型MR远程协作原型系统，该系统可以在VR沉浸式空间中的本地工作空间的共享3D立体场景中，基于上下文信息和远程专家的简单直观交互，自动自适应地生成清晰、详细和标准化的AR指令，以帮助本地工人完成任务。
执行第一个用户研究，比较涉及相对复杂的过程信息和环境的工业物理装配任务中的两个接口条件：一个是基线解决方案，其使用典型的MR远程协作接口来支持远程专家使用流行的非语言通信线索（即，虚拟副本，3D草图，手势，文本和图像）在共享的本地3D立体场景;另一个是我们的新接口，另外支持通过上下文感知（AGICA）在典型接口之上的自适应生成指令。
讨论通过上下文感知支持自适应生成指令以增强MR远程协作的影响和益处。
以下是本文其余部分的组织结构。首先，在接下来的两个部分中，回顾和分析了以前的相关工作。然后，在第4节中，我们描述了我们的原型系统的架构和技术细节。接下来，在第5节中，详细报告了用户研究，然后，在第6节和第7节中，我们展示和分析了实验结果，并讨论了它们的含义。最后，第8节和第9节给出了限制，结论和未来研究的方向。
2. Related works
在这一部分中，对与本文内容密切相关的MR远程协作的三个方面的研究进行了详细的回顾和分析。开始，我们回顾了过去的工作，在工业物理任务的MR远程协作，然后在MR远程协作的指令锡永，和自适应远程协作系统的上下文感知的基础上。
2.1. MR remote collaboration in industrial physical tasks
由于本地和远程用户之间的地理分布，物理任务的远程协作场景本质上是不对称的（Wang et al.，2021年b月）。远程专家具有完成任务的经验（Gurevich等人，2012，2015），但一方面在正确理解形势信息方面存在问题（Choi、Kim, & Lee, 2018; Gutwin & Greenberg, 2002), 另一方面，在创建清晰和详细的指令以有效地帮助本地工人方面存在挑战。相比之下，本地工人在物理工作空间中使用物理工具和部件，因此他们可以全面了解工作空间，但需要远程专家的指导才能完成任务（Gutwin和Greenberg，2002年）。在许多情况下，基于口头交流线索和2D视频流的视频会议已被证明是有效的。然而，由于缺乏2D视频流的深度信息以及言语交流线索的冗余和模糊性（Heiser、Tversky和Silverman，2004; Talmy，2003），远程专家可能难以理解本地情况信息并有效地表达他们的想法（Su、Chen、Zhou、Pretty和Chase，2022）。典型的MR远程协作系统使用VR（Parsons & Cobb，2016）或AR（De Souza Cardoso，Mariano，& Zorzal，2020）的不同视角来支持地理上分布的协作角色，通常，远程专家在VR空间中进行监督，并通过创建AR指令来帮助在真实的世界中执行物理任务的本地工作人员（Kim等人，2020年）的报告。与传统的视频会议方法相比，MR远程协作可以支持更先进的媒体来共享环境，支持更丰富的非语言交流线索来表达思想，支持更自然直观的交互，从而为解决远程协作的物理任务提供了广泛的新设计思路（Gutwin & Greenberg，2002）。
一些研究人员专注于在MR远程协作中共享本地工作空间的3D立体场景，远程专家可以佩戴VR头戴式显示器（HMD）自由移动和观察。Tait和Billinghurst（2014）以及Piumsomboon，Dey，Ens，Lee和Billinghurst（2017）开发了MR远程协作系统，该系统共享本地工作空间的3D重建，以支持地理分布用户之间的态势感知。但在这些系统中，由于网络带宽的限制，共享重建是预先扫描的静态场景，无法实时更新局部环境的变化。Sasikumar，Gao，Bai和Billinghurst（2019），Anton等人（2018）和Zhang等人（2022 b）提出了MR远程协作系统，该系统支持通过RGBD传感器共享本地用户场景的实时3D视频流。然而，目前，流行的RGBD相机仍然难以准确可靠地实时捕获3D环境信息。实时三维视频流的噪声和失真影响了远程专家对本地环境态势信息的感知。Teo等人（2019）开发了一种MR远程协作系统，该系统将3D立体模式与360视频模式互补结合，以保持每种模式各自的优势并解决其弱点。在这种情况下，360度视频模式提供围绕局部场景的实时更新的360度视频流，而3D立体模式给出局部场景的3D重构以提供深度信息。然而，在两种模式之间切换可能会导致远程用户迷失方向。
由于MR远程协作支持更先进的媒体，使得更多形式的非语言沟通线索可用，许多研究者专注于增加对非语言沟通线索的支持，并探索其对远程协作物理任务的影响。例如，Kim等人研究了三种常见的非语言交流线索的四种组合（即，指针、草图和手势）用于物理任务（例如，折纸、七巧板和乐高积木任务）（Kim等人，2019年; Kim等人，2020年）的报告。Sasikumar et al.（2019）研究了共享自然非语言沟通线索的影响（例如，手势和眼睛注视）对简单协作放置任务中的协作性能和用户体验的影响。一些研究者发现，分享自然的非语言交流线索也可以支持更自然和直观的互动。Wang等人，2019 d发现，在工业装配任务中，手势提示在自然性和直观性方面上级注释。他们还发现，基于手势和手指针的多模态交互比注释系统更自然和直观（Wang et al., 2019d). Zhang et al. (2022a) and Wang et al., 2021a) 实践证明，在工业装配任务中，使用手势操作实物的虚拟副本，可以使远程专家自然、直观地进行操作演示。然而，这些研究中的大多数体力任务相对简单，例如远程专家逐步指导本地工人完成拾取目标部件然后将其组装到目标位置的过程（Marques等人，第2022条b款）。在这些任务中，一方面，本地工作空间中除了与任务相关的组件外，没有其他物理障碍物;另一方面，完成任务所需的过程信息一般仅为空间信息（即，初始位置和目标位置）。实际上，在真实的的工业物理任务中，工作空间中可能存在需要避开的障碍物，完成任务所需的工艺信息可能比较复杂，如目标零件、相关工具、装配路径、操作方法、装配工艺参数等，这些信息都要随着任务的情况而变化。因此，远程专家在使用非语言沟通线索为涉及复杂过程信息和环境的工业物理任务创建指令时可能面临挑战。
综上所述，在实际的工业物理任务中，远程专家需要感知和分析情况信息，以生成清晰详细的指令，协助本地工人完成任务。然而，当前的MR远程协作系统使得远程专家难以获得实时的本地情况信息。涉及复杂流程信息和环境的更多重复、远程协作任务尚未得到很好的探索。因此，如何支持远程专家生成适应情境信息的增强现实指令，以增强涉及复杂过程信息和环境的工业物理任务中的MR远程协作是值得探索的。
2.2. Instruction expression in MR remote collaboration
与协作者都在同一个位置的协同合作相比，专家在远程协作中表达想法更困难，因为他们与工作人员在地理上分布在一起（Hauber，2008）。虽然MR远程协作可以支持多种媒体来共享本地场景，例如2D视频流、360度视频流和3D重建，但它仍然不足以支持高效的协作，因为远程专家无法仅通过与远程工作人员的基于语言的通信来可视化他们的想法。因此，一些研究人员已经探索了支持远程专家添加非语言沟通线索，以更清楚地表达远程协作指令的效果。
一些研究侧重于添加非语言沟通线索来提供空间信息，例如引导当地工作人员注意某个物体或特定区域。指针提示已被证明是一种简单快捷的方式，可提供准确的指向交互，以定位和突出显示目标对象。Kim等人揭示了简单而准确的指针提示可以鼓励远程用户积极地参与远程协作，从而提高共现的水平（Kim等人，2019年; Kim等人，2020年）的报告。此外，指针提示也用于共享自然提示，例如用户的头部定向和眼睛注视。Wang等人提出了一种MR远程协作系统，该系统支持共享头部指针或眼睛注视，用户反馈表明，头部指针和眼睛注视都可以提供用于描述空间信息的会话基础，并且都有助于提高认知水平（Wang等人，2020年a）的规定。然而，指针是一种临时性的交流线索，它一次只能标记一个位置，因而它的词汇量有限。草图提示在持久性方面优于指针提示。利用AR跟踪技术，草图提示可以被保持在远程专家绘制它们的位置，而与视点的变化无关，因此草图提示可以被认为是本地工作者的真实世界工作空间的自然部分（Gauglitz等人，2014年度）。因此，它可以支持更丰富的词汇表来表达更复杂的空间几何信息，如描述目标对象形状，指示操作方向和装配路径（例如，绘制轮廓、箭头形状和连接部件的初始位置和目标位置的路径（Kim等人，2020年））。受益于这些特征提示，先前的研究发现，与使用指针提示相比，使用草图提示可以提高完成协作装配任务的效率（Fussell et al.，2004），并增加地理分布的用户之间的共同存在感（Kim，Lee，Sakata和Billinghurst，2014）。在基于MR的远程协作物理任务中，草图提示已经成为表达空间信息指令的最流行的非语言交流提示之一。然而，由于缺乏空间的约束，在空中绘制的草图往往会有噪音（如抖动或扭曲）（Huang et al.，2018）并且可能呈现与真实的场景的不正确的空间关系。
手势提示支持多种信息的灵活表达，诸如空间信息（例如，指向、放置和旋转目标对象）以及甚至社交线索（例如，“OK”手势表示支持，或挥手表示反对）。与使用指针和草图提示相比，手势支持远程专家演示操作对象的过程，从而有助于提高完成物理协作任务的效率（Goldin-Meadow，1999）。Wang等人将手势线索与其他通信线索（例如，CAD模型（Wang等人，2021 a）、头部指针（Wang等人，2019 d）和凝视提示（Wang et al.，2022 c））中进行远程协作。用户反馈表明，这些基于手势的提示组合支持更自然和直观的交互，并改善了物理任务的性能和用户体验。此外，以前的一些研究发现，即使是代表简单身体信息的简单化身也可以提高远程协作中的社交存在感（Smith & Neff，2018）。然而，Wang等人发现，全身化身和基于“手+手臂”的化身在完成身体任务的效率上没有显著差异（Wang等人，2020 b），Sasikumar，Chittajallu，Raj，Bai和Billinghurst（2021）发现化身导致视野遮挡，在工业物理任务中过于复杂和分散注意力。
一些研究人员探索了支持其他非语言沟通线索对远程协作的影响，例如使用3D CAD模型作为物理对应物的虚拟副本。与指针提示、草图提示和手势提示相比，3D模型提示可以更直接、更自然地显示目标部件应该如何放置和定向，因此该提示可以更直观地表达空间信息。Zhang等人（2022 a）和Wang等人（2021 a）发现，使用手势提示和虚拟副本的组合提供了更好的性能和用户体验，并且比单独使用手势或虚拟副本更容易进行空间参考和操作演示。然而，Oda等人（2015）也提到，当虚拟副本的放置缺乏空间约束时，虚拟副本可能具有不正确的空间关系（即，不正确的插入）与真实世界工作空间中的其他对象，这可能会使本地工作人员感到困惑。
其他一些研究支持远程专家在远程协作中共享文本（Eschritzis，Zogopoulos，& Xanthi，2019; Wang，Ong，& Nee，2016 b）。在这些系统中，由于在VR空间中难以通过手势或手柄输入文本，远程专家一般使用键盘和2D屏幕来生成和共享文本指令，这限制了交互方法和远程专家对本地场景的感知。很少有研究集中在MR远程协作中共享图像提示，这可能是因为图像不如叠加在现实世界空间上的虚拟指令直观，因此被忽略。然而，文本和图像可以表达复杂的过程信息和数值数据（例如，相关部件的名称和材料、相关工具或工艺参数），因此它们被广泛用于工业物理任务的许多AR/MR辅助系统（Chae，Jung，& Ko，2022; Wang，Ong，& Nee，2016 a）。因此，值得探索的是在工业物理任务中如何在MR远程协作中更容易地共享文本和图像线索。
综上所述，在MR远程协作指导中，加入非语言交流线索是一种流行且有效的表达指导的方式。其中，草图、手势和虚拟复制品在工业物理任务中很受欢迎，具有出色的性能和用户体验，而文本和图像在需要复杂过程信息和数值数据的工业任务中具有良好的潜力。然而，在当前的MR远程协作系统中，所有指令需要由远程专家结合各种非语言线索来创建，这对于远程专家来说可能是高工作量的，尤其是在具有复杂过程的物理任务中。由于远程专家在表达想法时的偏好不同，远程专家为表达想法而选择的非语言通信线索可能不同，导致创建的指令的形式不同，并且即使使用相同的非语言通信线索，指令也可能不相同（例如，用3D草图表示装配路径），影响了远程专家思想的表达和本地工人的理解。此外，由于在VR空间中创建指令时缺乏约束，指令有时与实际本地工作空间的空间关系不匹配。因此，如何使远程专家更容易地创建符合工业物理任务中的情境信息和本地工作空间的空间关系的AR指令需要进一步探索。
2.3. Adaptive remote collaboration system based on context awareness
上下文信息是研究自适应系统时要考虑的一个基本方面。情境感知系统既可以感知有关环境的信息，又可以根据规则或相应的智能刺激做出反应。Dey（2001）提出的一个众所周知的定义指出，上下文是“可以被表征以定义实体的情况的任何信息”，其中实体是“被认为与用户和应用程序之间的交互相关的人、地点或对象”。
许多研究探索了通过上下文感知构建自适应远程协作系统。一些研究人员专注于通过从用户和用户的环境中收集上下文信息并与其他用户共享来提高态势感知和识别自然通信机会。Vivacqua，Moreno，and de Souza（2005）提出了一个基于Agent的框架，该框架包括任务特定的监视Agent和匹配Agent，前者收集每个用户的工作环境，后者计算活动接近度并可视化提示，从而帮助用户发现可能被忽略的交互机会。Sakurai等人开发了一种自适应远程协作系统，以减少由于用户认知和领域差异而导致的可能的错误理解（Sakurai等人，2009年、2010年）。该系统通过多个生物传感器和相关上下文（如用户配置文件）的信息融合来支持远程用户的评估，以强调，警告和呈现多媒体中的关键字/摘要。Gutwin，Bateman，Arora和Coveney（2017）提供了一个简单的注意力监测器，用于检查用户的注意力状态（即，无论它是否在屏幕上，以及工作区域是否可见），以及可视化错过的活动以处理短暂的注意力断开。
一些研究探索了通过收集上下文信息来改善远程协作系统功能的方法。Wang，Wang和Kim（2011）开发了一个智能协同设计系统，该系统具有一个由自我开发驱动的学习代理，可以通过接收环境信息和提供有价值的建议来帮助系统改进自己。
其他有趣的研究探讨了远程协作系统的构建，通过上下文感知支持自适应指令，这也是我们研究中最关注和最相关的方面。Oda等人（2015）开发了Point3D注释，用于有效的空间参考，以指导如何操作对象。
Point 3D标注支持在物理对象及其虚拟副本上创建成对的元对象标注，并使用颜色编码的“橡皮筋”线将它们连接起来，并且随着目标物理对象的空间位置变化，标注会交互式地更新。Piumsomboon等人（2018）提出了Mini-me自适应化身，它可以根据AR用户的凝视位置和凝视点处表面的属性进行自适应变换，以便它可以保留在AR用户的视野中，以表示VR用户的实时凝视方向和身体姿势。Wang等人（2023 b）开发了一种自适应MR界面，该界面支持基于上下文信息的自适应3D注释，以指导工作人员了解工作空间中可能在操作期间接触的危险区域的位置。然而，上述研究仅集中于提出某些适应性视觉传达线索。虽然这些提示可以根据上下文信息进行更新，但它们所考虑的调整机制和上下文信息相对简单和固定，并且这些提示不能自动生成。Koh等人（2017）开发了一种远程协助平台，该平台支持人工代理来代替人工干预，主动监控操作员的动作，并检索预先录制的视频和预设指令，以提供文本和分段视频提示。然而，平台提供的所有可用指令必须预先编写或记录在提示列表中，限制了远程专家根据其经验表达指令的灵活性。我们先前的研究（Wang等人，2019 a）开发了自适应MR远程协作平台，通过简单直观的操作演示，支持激活动画指令。然而，在该平台中，为建立参数化的工艺知识库，必须针对特定的物理任务预先生成可激活的动画指令，并且指令的激活只考虑了远程专家的交互行为，缺乏对本地上下文信息的考虑。
综上所述，已有的自适应远程协作系统的研究通过收集用户及其工作空间的上下文信息，能够自适应地共享情境信息、调整系统功能或更新视觉交流线索，从而提高远程协作系统在多种应用场景中的可使用性。然而，很少有研究探讨了在工业物理任务的远程协作中，通过上下文感知来支持自适应指令生成的效果。
3. Research gap and objectives
通过对上述相关研究的回顾，可以得出以下四点结论。首先，尽管MR远程协作支持更高级的媒体来共享本地场景，但硬件性能和网络带宽仍然限制了远程专家对本地情况信息的感知。第二，随着媒体的变化，多种形式的非语言沟通线索已被开发并广泛用于MR远程协作的物理任务。然而，在这些研究中，实验任务并不涉及复杂的过程信息，也很少有相关的研究，在工业任务中使用非言语交际线索表达指令复杂的过程信息。第三，分享非语言交流线索是一种很好的方式，可以通过自然和直观的互动有效地表达指令。然而，一方面，所有指令都需要由远程专家根据自己的偏好并结合多样化的非语言通信线索来创建，这对于远程专家来说可能是高工作量的，并且使得创建的指令的形式不统一;另一方面，由于缺乏空间约束，这些指令可能呈现与本地工作空间的不正确的空间关系，这可能会给当地工人带来混乱。第四，基于上下文感知的自适应远程协作系统可以收集和响应情境信息，从而增强了远程协作系统在许多应用场景中的可用性。然而，很少有研究支持通过上下文感知的自适应生成指令，工业物理任务的远程协作。
因此，为了克服现有相关研究的上述局限性，我们开发了一种新型的MR远程协作原型系统。该原型支持基于上下文感知自适应地为工业物理任务生成清晰、详细和标准化的AR指令，特别是需要复杂过程信息的工业装配任务。具体而言，原型的工作原理如下。首先，它支持先进的媒体，通过3D视频共享本地场景的实时3D重建，允许远程专家自由导航和观察。其次，该系统使远程专家创建装配指导指令，通过使用基于手势的交互绘制三维草图或操纵虚拟副本。随后，系统收集上下文信息，包括在指令创建期间从交互动作序列中识别远程专家的装配意图，以及通过分割本地场景的3D点云来确定对象的空间范围及其属性来收集环境信息。在此基础上，系统分析并确定装配指令的内容，包括使用路径规划算法为目标对象规划装配路径，并从工艺知识库中检索相关的装配工艺信息。最后，该原型实现了装配指令内容的可视化，包括装配路径生成、装配过程动画生成、装配工艺参数显示、所需工具高亮显示等，从而生成清晰、详细、规范的AR指令。这些指令补充了远程专家创建的指令，共同指导当地工人完成工业装配任务。然后，探讨自适应指令生成如何影响MR远程协作，我们进行了一项用户研究的基础上的原型，比较有效性和用户体验的远程专家指导本地工人在执行在工业装配任务，涉及相对复杂的工艺信息和环境下RECI和AGICA条件。
4. Methodology
在这一部分中，我们从以下几个方面详细描述了我们的原型系统的设计：（1）系统框架，（2）交互技术，（3）自适应生成指令。
4.1. System framework
在我们的MR远程协作原型系统中有三个主要组件，如图1所示：（1）远程VR侧为远程专家提供沉浸式VR空间，以导航和观察本地工作空间的共享3D重建场景并演示操作以生成指令，（2）本地AR侧基于叠加在真实世界本地场景上的接收到的AR指令为本地工作者提供虚拟-现实-融合空间以执行任务，（3）服务器对远程VR端和本地AR端之间的任务处理资源进行管理和调度，包括通过场景共享模块共享本地场景的实时3D视频流，通过指令表达模块共享远程专家创建的AR指令，以及通过指令自适应生成模块生成并同步自适应生成的AR指令。上述三个模块之间的关系如图3所示。该原型在Windows 10操作系统下采用客户端-服务器架构开发，使用Unity3D（c）游戏引擎作为软件主体，并依赖于微软的混合现实工具包（MRTK），英特尔的RealSense SDK 2.0，Vuforia Engine Li SDK和点云库（PCL）。
原型系统的网络通信基于TCP/ IP通信协议和MRTK共享库。英特尔® NUC被设置为服务器，并通过支持Wi-Fi 6的无线路由器连接远程和本地端。MRTK共享库通过允许应用程序跨多个设备（例如，PC、HoloLens AR HMD或移动的电话）进行通信并保持实时无缝同步。许多MR远程协作系统（Wang等人，2021 a; Zhang等人，在我们的原型中，除了共享基于3D视频的实时3D重建的本地场景，以及共享由远程专家创建的由手势、3D草图和虚拟副本组成的AR指令之外，服务器还接收并分析远程专家的交互行为和本地上下文信息（例如，本地环境和任务相关对象的情况信息），以自适应地生成详细的和标准化的AR通过指令自适应生成模块生成指令。然后，生成的指令将被发送到本地和远程侧，并同时显示，以补充远程专家创建的AR指令。
远程VR端如图2（a）所示，其中设置了远程笔记本电脑（CPU：Intel® Core™ i5- 8300 H，GPU：NVIDIA GeForce GTX 1060，RAM：16 GB）以运行VR客户端和HTC VIVE Pro 2 VR HMD，其正面安装了Leap Motion手部跟踪器，以支持远程专家在沉浸式VR空间中进行观察和交互。通过在VR空间中渲染本地工作空间的实时3D重建，专家角色的远程用户可以自由导航和观察3D立体局部场景。Leap Motion手部跟踪器通过实时跟踪用户的手势来实现手势交互，从而使远程专家可以通过使用手势自然直观地创建指令，例如创建3D草图或创建虚拟副本并操纵它们来演示操作。专家的操作演示和创建的指令将通过服务器与本地AR侧共享，以指导本地工作人员执行操作。同时，服务器分析远程专家的交互行为，以获得远程专家的装配意图，用于自适应生成AR指令，以补充远程专家创建的指导信息。
本地AR端如图2（B）所示，我们设置了一台本地笔记本电脑（CPU：英特尔®酷睿™ i7- 7700 HQ，GPU：NVIDIA GeForce GTX 1070，RAM：16 GB）来运行AR客户端，安装在工作区上方的英特尔®实感™ D435 i深度摄像头来捕捉本地工作区，以及HoloLens AR HMD来显示AR指令。通过将远程专家创建的或系统自适应生成的AR指令叠加在真实的场景上，扮演工人角色的本地用户可以遵循指令执行物理任务。RealSense D435 i支持高分辨率实时捕获整个本地工作空间的纹理和深度信息。然后，服务器共享3D视频流（Anton等人，2018年; Zhang等人，2023）发送到远程VR侧以重建3D本地场景。同时，服务器分析3D视频以获得用于自适应生成AR指令的实时局部上下文信息，以符合情境信息和与局部工作空间的空间关系。此外，我们在局部场景中的工作台上设置了一个人工标记作为地标，统一了真实的和虚拟空间的坐标系。
基于图1所示的系统硬件和软件框架，图3中示出了具有指令的自适应生成的MR远程协作模型。该模型主要包括主要在服务器上运行的三个功能块，以支持远程VR和本地AR侧之间的MR远程协作，即，场景共享模块、指令表达模块和自适应指令生成模块。场景共享模块支持基于3D视频对本地场景进行实时3D重建，使远程专家能够感知本地的情况信息。指令表达式模块使远程专家通过手势交互创建指令，例如绘制3D草图或创建和操纵目标部件的虚拟副本，基于他们对本地情况的理解和他们的装配意图。这些指令实时共享并叠加在实际的本地场景上，以指导本地工人完成装配任务。
自适应指令生成模块通过三个阶段生成指令。第一阶段是上下文信息收集，系统在指令生成过程中从交互行为的动作序列中识别远程专家的装配意图，确定目标装配件及其初始和目标装配位置，并通过场景理解确定本地场景中对象的空间范围及其属性。第二阶段是指令内容决策，系统对指令内容进行决策，包括利用路径规划算法规划目标零件的装配路径和工艺动画，以及从工艺知识库中检索相关的装配工艺信息。第三阶段是指令内容可视化，系统将上述指令内容以虚拟现实融合的方式进行可视化，生成详细的、标准化的指令，包括目标对象的装配路径、工艺动画、工艺参数以及相关工具等。自适应生成的指令在远程VR和本地AR侧实时同步，以补充远程专家创建的指令。然后，本地工作人员根据AR指令（由远程专家创建以及自适应生成）执行任务。在任务执行期间，自适应指令生成模块基于当前上下文信息自动地或根据远程专家的请求来更新指令。通过这种方式，本地工作人员可以基于将联合收割机远程专家的经验与当前本地上下文信息相结合的详细的、标准化的和可适应的指令来逐步有效地执行物理任务。
4.2. Interaction techniques
4.2.1. Gesture-based interaction
我们的原型支持远程专家通过创建非语言交流线索或在共享的本地3D立体场景上演示动作来表达他们的想法，互动方式。此外，远程专家的交互行为展示了与他们想要为其提供指导的任务相关的意图，并且因此提供了用于系统的指令的自适应生成的提示。从以上相关研究的回顾（详见第2.2节）可以看出，在远程协作的物理任务中，3D草图线索的持久性和丰富的词汇量允许灵活地表达不同的信息（例如，空间信息、形状和装配路径等），虚拟副本提示有利于更直观的空间参考和操作演示，手势提示具有良好的性能和用户体验，支持更自然直观的交互。因此，我们的原型结合了这些流行的线索（即：虚拟复制品、3D草图和手势），从而允许远程专家容易且直观地使用手势来自由地控制AR指令（包括3D草图、虚拟复制品和由系统自适应地生成的指令）的创建/删除或显示/隐藏。
我们的目标是找到易于使用和学习的手势，而不管远程用户在任务相关实验中的熟练程度。因此，我们专注于选择常用的手势，并与传统的手势通信习惯保持一致。为了找到合适的手势来控制AR指令，我们邀请了12位参与者进行初步的用户研究。他们都是我们大学的机械工程和机电一体化专业的学生。每位学员都拥有使用MR相关技术增强航空航天产品装配的项目的实际经验。初步用户研究过程参考了先前的研究和MR相关商业设备中提到的常见手势作为候选选项（Huang和Rai，2018; Kim等人，2020; Zhang等人，2022 a; Zhang等人，2023），并且记录对应于每个系统功能的手势的投票排名。通过彻底审查这些手势的动作，识别准确性和功能上下文，同时考虑它们在投票过程中的排名，消除了不同功能的手势之间的潜在冲突，最终导致了与每个特定系统功能相对应的手势的明确分配。
表1示出了在原型中使用的手势、功能及其对应动作之间的关系，而图4描述了每个手势的动作。我们定义了“SKETCH”来绘制3D草图（参见图4a），“GRASP”手势用于创建和操纵虚拟副本（见图4b），“打开”手势停止绘制3D草图或操纵虚拟复制品（参见图4c），删除由远程专家创建的AR指令的“WAVE”手势（参见图4d）、用于切换系统自适应生成的指令的显示和隐藏的“BLOOM”手势（参见图4e）、以及用于切换系统自适应生成的指令的显示和隐藏的“OK”手势（参见图4d）。手势以正确完成当前步骤并删除当前步骤的所有AR指令（参见图4f）。
4.2.2. Creating and manipulating virtual replicas
为了使远程专家能够容易且直观地使用手势来创建物理对象的虚拟复制品（例如，部件或工具）并操纵它们来演示在共享的3D立体视觉局部场景上的操作，我们的原型遵循在我们先前的研究中提出的VG3DV接口（Zhang等人，第2022条a款）。在这种情况下，远程专家可以尝试使用“GRASP”手势抓取目标对象的重建点云（见图4b），系统将自动创建其物理对应物的虚拟复制品。然后，远程专家可以自由地操纵它，以演示如何在需要组装的地方组装它。
4.3. Adaptive generation of instructions
我们的系统旨在增强远程协作物理任务（特别是工业装配任务）。因此，指令的自适应生成主要关注与工业装配任务相关的指导信息，其中装配路径、装配方法、相关工具和装配工艺参数是必不可少的。自适应地生成这些指令的过程涉及三个主要阶段（参见图3）：（1）上下文信息收集;（2）指令内容决策;以及（3）指令内容可视化。
4.3.1. Contextual information collection
4.3.1.1.装配意图识别。为了根据远程专家的交互行为自适应地生成指令，我们的原型识别远程专家的装配意图。这使我们的原型，以获得自适应生成instructions所需的参数，通过推断的部分远程专家指示组装和组装它的基础上远程专家的动作序列与创建指令。
意图识别可以理解为绑架一般问题的一个具体案例，即，“如果一个追求计划/目标P的智能体会执行一系列动作S，而我们观察到S，我们可以假设智能体正在执行计划P”（Sukthankar，Geib，Bui，Pynadath，& Goldman，2014）。因此，基于这一假设，我们开发了一种基于逻辑规则的推理方法，并参考了以前的研究（Zhang et al.，2022 b），基于关于创建指令的动作序列以及部件的初始和目标位置的识别信息来识别远程专家的当前创建意图。
远程专家在表达装配指令过程中的高度自由度对装配意图的识别提出了挑战。为了简化系统，使其更稳定，我们考虑了原型所支持的非语言交流线索的形式和使用这些线索的惯例，制定了两个动作序列，这两个动作序列最有可能发生在创建识别装配意图的指令时。我们假设远程专家更喜欢仅使用非语言通信线索的一种组合（即，手势和3D草图，或手势和虚拟副本），以表达在引导一个装配步骤期间的指令，因此每个动作序列仅包含专家使用非语言通信线索的一个组合来创建指令的相关交互行为。我们全面分析了每个动作序列中包含的交互行为。如表2所示，为了更清楚地表达动作序列，我们对交互行为进行了编号。
第一动作序列S1基于远程专家通过使用手势创建和操纵用于操作演示的虚拟副本的过程。在这种情况下，远程专家首先通过使用“GRASP”手势创建部件（M1）的虚拟复制品，其指示远程专家当前打算引导本地工人装配的目标部件，同时系统推断当前装配步骤已经开始，并且收集关于当前装配目标部件的属性及其初始位置和取向的信息。然后，远程专家操纵虚拟复制品以执行操作演示（M2），其指示远程专家打算如何组装目标部件。最后，远程专家组装虚拟副本（M3），直到其从可行的目标位置和方向达到预设阈值，该目标位置和方向指示远程专家打算组装的目标位置和方向。同时，系统推断当前步骤的引导已经完成，并收集目标装配位置的信息，自适应地生成指令，以补充远程专家的操作演示。
第二动作序列S2是基于远程专家通过使用手绘图绘制3D草图以表达指令的过程。在这种情况下，远程专家首先将食指指尖的尖端接近部件（D1）的虚拟代理，直到其到达尽可能近的距离，并开始通过使用“草图”手势（参见图4a）绘制3D草图，这指示远程专家当前打算引导本地工人组装的目标部件。同时，系统推断当前装配步骤已开始，将最靠近草图开始位置的对象作为当前步骤的装配目标零件，并收集有关当前装配目标零件的属性及其初始位置和方向的信息。然后，远程专家继续延伸3D草图（D2），其指示远程专家打算如何组装目标部件。最后，远程专家使食指的指尖接近可行的目标组装位置（D3），直到其到达最接近的可能距离为止，该最接近的可能距离指示远程专家想要组装的目标组装位置。同时，系统推断当前装配步骤的引导已经完成，并将最接近草图末端的可行装配位置作为目标装配位置，收集目标装配位置信息，自适应地生成指令，对远程专家生成的三维草图指令进行补充。
总之，我们的方法通过利用作为计划的元素的基本动作步骤之间的因果关系和时间关系来识别远程专家的装配意图。图5以轴类零件为例，说明了基于逻辑规则的远程专家交互行为装配意图识别，其中明确定义了与动作序列相关的交互行为以及由该交互行为决定的装配意图参数。序列S1和S2中的每个动作都建立在前一个动作的基础上。在序列S1中，只有通过动作M1创建了装配目标部件的虚拟复制品，才能使用动作M2操纵虚拟复制品以进行操作演示，并且只有通过动作M2移动虚拟复制品，才能使用动作M3将虚拟复制品装配到目标位置。类似地，在序列S2中，从装配目标零件到目标装配位置的整个链接可以仅通过以D1、D2和D3的顺序完成三个动作来构建。因此，很明显，远程专家的装配意图，可以准确地识别从序列的交互行为。
4.3.1.2.场景理解。为了使自适应地生成的指令（例如，装配路径和装配过程动画）满足与局部场景的正确空间关系。为了保证指令引导装配过程的无冲突可用性，需要提取局部场景上的对象并描绘它们的空间范围，以及确定它们是否是障碍区域。
感知局部场景中物体的分布和空间范围的主要过程如图6所示。首先，在局部场景的共享三维重建点云（见图6a）中，获得基于阈值分割方法去除工作台表面后的前景点云数据（见图6b）。其次，使用DBSCAN算法（Ester，Kriegel，Sander，& Xu，1996）对前景点云进行聚类（参见图6c）。最后，空间使用如下三种不同的策略来确定对象及其属性（参见图6d）。对于当前目标零件，根据其精确的CAD模型几何参数和当前位置和方向精确确定其空间范围，并标记为非障碍区域。对于其他任务相关对象（即，基础子组件、零件和工具），它们的空间范围也基于它们的精确CAD模型几何参数和当前位置和取向而被精确地确定，但被标记为障碍区域。对于无法与CAD模型匹配的非任务相关对象，使用3D边界框定义其空间范围并标记为障碍区域。
图5.基于逻辑规则的远程专家交互行为装配意图识别。
4.3.2.教学内容决策
4.3.2.1.装配路径规划和工艺动画生成。装配路径规划涉及计算无碰撞的可行（最好是最佳）路径，用于将零件装配到给定零件和基础子组件的几何形状的基础子组件上，零件的初始和最终位置，以及将执行装配操作的工作环境（Masehian & Ghandi，2020）。装配路径影响装配过程的效率和安全性，是远程协同装配过程中远程专家需要关注的重要指导要素。因此，在原型系统中，我们开发了一种基于上下文感知的装配路径规划和过程动画生成方法，用于表达装配过程，该方法根据当前步骤中目标零件和基础子组件的几何形状、目标零件的初始和最终位置以及局部工作空间中障碍物的空间范围，规划无碰撞的最优可行路径，并通过装配动画将目标零件的虚拟复制品沿着装配路径的装配过程可视化。
见图6。感知对象在局部场景中的分布和空间范围的过程。(a)（B）采用DBSCAN算法对前景点云进行聚类，并为每个聚类分配一种随机颜色进行区分，最后对聚类结果进行聚类分析，得到聚类结果。（d）根据不同的策略划分障碍物的空间范围，其中绿色区域为当前装配目标零件，标记为非障碍物区域;蓝色区域为任务相关对象，红色区域为非任务相关对象，标记为障碍区域;
(1)获取装配目标零件及相关几何参数。
在远程专家完成创建当前步骤的指令和动作演示之后，系统通过分析远程专家的交互行为以及相应的关于装配任务的原因来识别装配意图（即，将目标部件从初始位置组装到目标位置），远程专家打算指导本地工人在当前步骤中完成（详见第3.3.1节）。另外，远程端从服务器加载目标部件和基础子组件（包括已经装配的部件）的相应CAD模型以获得它们的几何参数。
(2)对障碍物空间范围的感知（详见3.3.1.2）。
(3)装配路径规划。
经过上述预处理获得所需参数后，系统基于A-Star（A*）算法（哈特，Nilsson，& Raphael，1968）为当前步骤规划装配目标零件的无碰撞最优装配路径。我们的研究目标是探索支持额外的自适应指令生成对MR远程协作的影响，从而尽管在实际的装配过程中装配路径的最优性约束不是严格必要的，但我们仍然希望生成的装配路径是确定性的，并且对于相同的参数是唯一最优的，避免了生成指令的随机性对不同远程专家和本地工作人员理解指令的影响。A* 是一种有效的启发式路径规划算法，对到目的地节点的剩余距离的估计）以获得效率和最优路径之间的平衡（Wang等人，第2023条a款）。因此，这是一种符合研究要求的合适算法。
为了加快可行路径的搜索，一方面，我们将当前目标装配位置的中心设置为将装配路径规划（APP）转化为反装配路径规划（DAPP），即零件的最终位置设置为起始节点，初始位置设置为终止节点。由于零件的最终位置更有可能位于狭窄的空间中，因此这些设置可以有效地避免离散映射中组件目标零件和基础子组件之间的碰撞。另一方面，将当前装配目标零件的三维包围盒最小尺寸的一半作为搜索步长，既保证了对窄路径的搜索能力，又减少了搜索节点的数量。
此外，我们打算每个可行节点的配置（i。例如，装配目标部件的位置和方向）符合人类习惯的装配操作。我们观察到，当参与者演示装配操作时，他们倾向于首先调整零件的方向，使其与目标装配状态一致，然后再继续进行装配操作。因此，在使用DAPP策略规划装配路径时，从起始节点开始，根据当前零件的目标装配方向在8个方向上搜索相邻节点，并运行碰撞检查过程，确保规划路径中所有可行节点与目标装配方向一致。对于无冲突的相邻节点，选择具有最小成本函数的节点，直到搜索到达结束节点。然后，将末端节点的部分方向设置为该部分的初始方向，形成由节点组成的路径，每个节点配置包含空间位置和方向信息。最后，通过逆向求解，得到规划结果。
(4)装配过程动画的生成
为了生成平滑的动画，我们插值每个节点的部分状态（即，位置和方向）的规划路径一致。由于节点之间的距离是由零件几何尺寸决定的，因此我们调整了每个零件路径节点之间的插值比例，确保每个零件以相同的距离和角度移动。
在图7中，我们展示了远程VR和本地AR视图中装配路径和装配过程动画的AR指令自适应生成过程。首先，远程专家通过使用橙子3D草图绘制装配路径（参见图7a和g）或操纵装配目标零件的虚拟复制品以演示装配操作（参见图7d和j）。然后，原型系统根据专家的交互行为自动推断远程专家的装配意图。最后，该系统将远程专家的装配意图与本地上下文信息相结合，以自适应地规划和生成在远程VR视图和本地AR视图中以紫色线示出的装配路径（参见图7b、e、h和k）和由装配目标零件的白色CAD模型表示的装配过程动画（参见图7c、f、i和l）。
见图7。装配路径的自适应生成过程及装配过程动画。(a-f)，远程VR视图;（g-l）本地AR视图。(a-c（d-f，j-l）基于远程专家操作虚拟副本的交互行为的装配路径和装配过程动画的自适应生成。
4.3.2.2.装配工艺参数检索。除了装配路径和工艺动画外，提供装配工艺信息对于当地工人完成工业装配任务至关重要，影响装配的质量和效率。在原型系统中，服务器端通过装配意图识别确定目标零件后，检索装配工艺信息XML文件（包括名称、零件材料、装配特征、装配工具、和装配工艺参数）和相应的资源（如过程图像）然后，这些信息和资源被同步到远程VR和本地AR端，随后的可视化作为后续处理信息。
4.3.3.指令内容可视化在确定指令内容后，原型通过将指令内容对应的虚拟资源叠加在远程虚拟本地场景和实际本地场景上，实现指令的可视化，从而自适应地生成清晰、详细、规范的指令这些指令在远程VR和本地AR侧之间同步，以补充由远程专家创建的指令。该原型使用三种不同的可视化方法来呈现三种类型的指导内容，如下所述。
首先，为了表示装配方法，沿着规划的装配路径，原型利用将目标对象的初始位置连接到装配目标位置的3D草图来显示装配路径，以及移动目标对象的CAD模型来显示过程动画。具体可视化如图7所示。
其次，为了指示相关工具，原型利用3D高亮度的现场指示。3D突出显示原位指令已被证明是用于拾取和组装任务的有效AR指令，相对于其他常见指令（例如，目标部件的图像和指向目标对象的箭头或线条用于拾取任务（Renner & Pfeiffer，2017）;用于装配任务的2D投影原位，3D动画线框或并排机构（Blattgerste，Renner，Strenge，& Pfeiffer，2018））。当当前装配目标零件需要相关工具时，这些工具的虚拟代理将变得不透明，覆盖重建的点云或物理对应物，以在远程专家和本地工人的视图中显示3D高亮显示的现场指令。
最后，为了表达装配过程信息，该原型系统采用了虚拟面板的方式，并结合文本和图像进行表达。文本和图像指令是装配过程信息的最常见载体并且广泛地用于AR装配辅助系统（Wang等人，2016年b; Mourtzis等人，（2019年版）。在检索到当前目标零件的装配工艺信息后，在远程和本地共享工作空间前的虚拟面板上同步显示相关装配工艺信息的文本和图像，使远程专家和本地工人都可以观察和查询装配工艺信息。
在图8中，我们在远程VR视图和本地AR视图中显示了自适应生成的指令。
5. User study
在这项研究中，我们进行了一个用户研究的原型的基础上，调查支持自适应指令生成通过上下文感知MR远程协作的效果。
5.1. Study design
在我们的用户研究中，我们招募了配对的参与者，他们被随机分配为远程专家或本地工作人员（更多背景信息请参见第4.6节）。在分配角色后，远程专家接受了如何执行体力任务的培训，从而获得了指导当地工人的基本知识。与此同时，当地工人被允许熟悉工作场景，但在实验前没有接受任何培训。我们的用户研究是一个受试者内的研究，其中一对受试者在实验中合作的工业物理任务的情况下，独立的条件，并没有改变整个实验中的角色。此外，我们基于平衡拉丁方设计来决定条件的顺序，以减少学习效果的影响。实验结束后，比较了不同条件下参与者完成物理任务的效率和经验。本研究的两种情况如下：
RECI（远程专家创建指令，基线条件）：在此情况下，支持远程专家创建指令（即，虚拟复制品、3D草图、文本和图像）。我们选择该条件作为基线条件是因为，在本文的上下文中，该条件在协作机制、功能支持和交互模式方面是典型MR远程协作方法的良好代表。首先，在协作机制方面，RECI契合了MR远程协作的典型特征，从不同的角度采用VR或AR来支持地理上分布的协作角色，远程专家在VR空间中监督本地场景并创建引导指令，而本地工作人员则在AR空间中基于这些指令执行物理任务（Kim et al.，2020; Wang等人，2021年b月）。其次，在功能支持方面，RECI与现有MR远程协作中表达的场景共享和指令的典型方法一致，即：使用3D视频流（Anton等人，2018年; Sasikumar等人，2019年; Zhang等人，2022 a; Zhang等人，2023）来共享3D立体局部场景以获得有效的工作空间感知和空间参考（Anton等人，2018），以及言语交际和四用于创建指令的典型非语言通信提示（即，指针（Kim等人，2019年; Wang等人，2020 a），草图（Gauglitz等人，2014年; Kim等人，2013 a）、手势（Huang等人，2019年; Wang等人，2019 c）和虚拟复制品（Elvezio等人，2017年; Oda等人，2015）），在当前的MR远程协作研究中已证明其在增强指令表达方面有效（Ens等人，2019年; Wang等人，2021年b月）。最后，在交互方式方面，手势交互是目前MR远程协作中应用最广泛的交互方式之一，其自然直观，能够增强共现和协作效率（Ens等人，2019年; Kim等人，2019年; Wang等人，2021年b月）。
AGICA（经由上下文感知的指令的自适应生成）：在这种情况下，除了由远程专家创建的指令（即，RECI的相关设置），系统可以自适应地生成清晰、详细和标准化的AR指令（即，装配路径、装配过程动画、用于工具对象的3D高亮原位指令、以及用于装配过程信息的文本和图像指令），基于远程专家和上下文信息（例如，远程专家的意图、任务相关对象、本地环境等）。
如表3所总结的，从系统功能的角度来看，这两种条件之间的主要区别在于AGICA还支持在RECI之上自适应生成指令，这导致指令创建过程和指令格式的显著差异。
在RECI条件下，所有指令完全由远程专家创建。因此，首先，远程专家必须执行各种交互操作，以生成针对装配过程信息的关键元素的不同指令。这包括使用手势绘制装配路径或创建和操纵目标零件的虚拟副本以演示操作以指示装配方法;围绕工具绘制3D草图或创建其虚拟副本以指示目标工具;单击虚拟面板旁边的按钮以检索目标零件的工艺参数。其次，远程专家通过观察共享的3D重建的局部场景来感知局部场景信息。因此，创建的指令和本地场景之间的空间关系受到共享场景的质量以及远程专家的空间感知的影响。第三，由远程专家创建的指令取决于个人偏好和经验。例如，使用手势来绘制组装路径、演示组装过程或标记相关工具可能会因每个专家和每个实例而异。最后，创建的指令只与当前的本地场景情况相匹配。如果本地工人在装配任务期间需要新的指导，则远程专家必须根据本地场景中的最新变化重新创建指令。
见图8。在远程VR视图和本地AR视图中自适应地生成指令。(a)在远程虚拟现实视图中，原型系统为装配目标零件自适应生成装配指令，包括规划的装配路径和装配过程动画、相关工具的三维高亮原位标注以及呈现装配过程信息的虚拟面板;（B）在局部AR视图中，将自适应生成的AR指令叠加在真实的工作空间上，包括规划的装配路径以及装配过程动画，相关工具的3D高亮原位注释，以及呈现装配过程信息的虚拟面板。
在AGICA条件下，除了支持远程专家创建指令外，系统还基于上下文信息自适应地生成指令。因此，首先，远程专家只需要使用手势来绘制装配路径或创建和操纵目标部件的虚拟复制品来演示指示装配方法的操作。该原型能够从远程专家的动作序列中识别装配意图，通过场景理解获取场景信息，通过路径规划算法生成装配路径和过程动画，指示装配方法，并通过3D高亮显示的现场指令标注相关工具，检索目标零件相应的装配工艺参数。与RECI相比，这导致更详细的指令，同时减少了创建它们的交互操作。其次，原型通过场景理解算法感知局部场景信息，使自适应生成的指令更加稳定地符合与局部场景的空间关系，避免误插入。第三，自适应生成的指令是基于一致的装配意图识别，场景理解和路径规划算法，确保指令内容是一致的，在同一上下文下的标准化。最后，基于上下文信息自适应地更新自适应生成的指令。一旦生成，它们就可以持续地指导本地工作人员，而不需要远程专家重新解释或演示任务过程以响应本地场景的变化。
我们的研究的重点是调查的效果，支持自适应生成的指令，通过上下文感知MR远程协作的工业物理任务，特别是工业作为一个复杂的过程信息，关于性能，错误，可用性和用户体验（特别是工作量），和用户的喜好。因此，我们的假设如下：
H1（性能）：与RECI相比，AGICA将提高性能。
H2（错误）：与RECI相比，AGICA将减少错误。
H3（H2）：与RECI相比，AGICA的工作量较低。
H4（可用性）：与RECI相比，AGICA将支持更好的可用性。
H5（用户体验）：AGICA将支持比RECI更好的用户体验。
H6（用户偏好）：大多数参与者将首选AGICA而不是RECI。
5.2. Study setup
为了在相对复杂的环境中模拟工业物理任务，我们设计了一个实验工作场景，如图9所示。在工作空间上设置了散热器、排气机构等静态障碍物。此外，与任务相关的零件、基础子组件和工具被放置在工作空间上，并且随着任务的进行，这些对象的位置将被本地工人改变，从而成为本地场景中的动态障碍物。来自远程专家的指令应指导本地工作人员在任务期间避免身体或正在操作的部件与本地场景中的动态或静态障碍物发生碰撞。为了反映工业中实际物理任务的复杂性，一些零件被设置为使用特定的装配工艺参数和工具进行装配，因此提供了扭矩扳手和锤子，以便当地工人能够在远程专家的指导下使用适当的工具和工艺参数完成装配。实验任务中涉及到的零部件的相应编号也标注在图9中，其具体装配工艺要求见表4。
此外，为了支持口头交流，类似于先前的研究（Kim等人，2019; Oda等人，2015），我们在用户研究中使用协同定位协作来模拟远程协作，以简化系统，同时满足研究重点的核心要素。在这种情况下，我们将参与者安排在同一个房间，但使用物理隔离将他们分开，因此参与者仍然可以进行口头交流，但无法直接观察他们的合作伙伴及其合作伙伴的工作场景，就像远程协作一样。
参考图9。设置实验任务的场景。1个底座; 2轴; 3螺杆螺母; 4.螺杆套筒; 5大颚块; 6.小颌1; 7钳口螺钉1; 8个钳口螺钉2; 9定位块1; 10定位块2; 11.小钳口块; 12小颚2号; 13钳口螺钉3; 14钳口螺钉4;
5.3. Task content
在用户研究中，主要任务是远程参与者扮演专家的角色，指导本地参与者扮演工人的角色逐步组装虎钳。任务目标虎钳由14个部件组成，包括固定在工作台上的底座部件，以及分布在工作台上的其他目标装配部件（见图9）。在每个装配步骤中，远程专家通过创建AR指令，指导本地工人拾取目标零件并在具有一定工艺要求的目标位置进行装配。然后，本地工人根据远程专家的AR指令所表达的装配方法、工具和工艺参数来执行装配操作。该任务属于工业物理任务，工作量适中，涉及相对复杂的工艺和环境信息，符合我们用户研究的主题。表4中详细列出了图9中相应编号部件的焊接工艺要求。远程专家在不同实验条件下创建指令的要求如下。
RECI：在每个组装步骤中，远程专家需要为当前目标对象创建所有AR指令。这些指令包含至少三个方面来表达完整的装配过程信息，即，组装方法（提供关于目标物体以及如何组装它的信息）、相关工具（如果目标物体需要），以及组装过程参数（例如，钳口螺钉的预载荷要求）。具体来说，远程专家可以使用手势来创建目标对象的虚拟复制品以演示装配操作，或者绘制3D草图来连接目标对象的开始和结束位置以指示装配路径;他们可以创建工具的虚拟复制品以演示使用情况，或者绘制3D草图来注释工具（例如，例如，在一个实施例中，在工具上画圈）;他们可以单击虚拟面板检索目标零件的装配工艺参数。
AGICA：在每个装配步骤中，远程专家还需要从所有三个方面表达完整的装配过程信息。由于支持自适应指令生成，远程专家只需表达装配意图即可。这是通过使用手势来创建虚拟副本来演示装配过程或通过绘制3D草图来指示装配路径来实现的。然后，原型系统自适应地生成AR指令，以补充由远程专家创建的指令。具体地说，它为目标零件生成装配路径和装配过程动画，以指示装配方法，用3D高亮显示原位指令注释相关工具，并检索相应的装配过程参数以匹配目标零件。
如图10所示，我们展示了AGICA条件下本研究实验任务的主要流程。
5.4. Data collection and measurements
在我们的研究中，我们收集和分析了包括主观和客观数据的数据集。主观数据用于分析远程和本地参与者的用户体验，包括原型可用性，工作负载和协作体验。客观的数据被用来分析参与者的有效性，在合作的任务，包括执行时间和错误。
我们通过要求参与者在每对参与者完成每种条件下的合作任务后填写问卷，并在完成所有条件后进行访谈来收集主观数据。我们对原型可用性的评估使用SUS（布鲁克，1996年），这是一种行业标准问卷，可在小样本量下使用，以有效且可靠地区分可用和不可用系统，并已广泛用于评估用户对系统可用性的看法（班戈尔，Kortum，&米勒，2008年;布鲁克，1996年）。为了评估工作量水平，我们使用了NASATLX（Cao，Cintamani，Pandya，& Ellis，2009）是一种标准化的、经过验证的主观问卷，用于定量评估任务工作量。为了评估用户体验，我们设计了一份协作体验问卷，其中包括有关整体协作的问题（Q1 ~ Q6询问互动、专注、自信、团结、协作和享受的感觉），对远程专家的指令表达（问题7询问表达指示的有效性，问题8询问协助合作伙伴的简单性和效率），以及当地工人对指令的理解（Q9询问理解指令的有效性，Q10询问接收到的指令是否能有效指导任务的完成），同时考虑到一些先前的研究（Kim等人，.2018 a; Wang等人，2021 a; Zhang等人，2022 a; Zhang等人，2023年）的报告。
我们从系统日志、视频记录以及随后的审查和访谈中收集了客观数据。执行时间记录为在一个接口条件下协作完成所有目标部件的组装所消耗的时间。当远程专家表达不正确的指令或当地工人执行不正确的装配操作时，就会记录错误。
具体而言，对于远程专家，不正确的指令是其内容与组装步骤不匹配的指令，例如包含不正确的组装方法、相关工具或组装目标的组装过程参数。然而，由远程专家创建的具有正确内容但可能由于不清楚的表达而难以理解的指令不被归类为错误。此外，在本地工人执行组装操作之前，远程专家可以自由地创建和调整指令，并且对指令的这些调整不被记录为远程专家的错误。一旦远程专家允许本地工人根据指令开始装配操作，如果指令仍然包含不正确的内容，则将其记录为远程专家的错误。对于本地工人，不正确的装配操作意味着本地工人装配零件不正确，如装配位置、装配方法、相关工具或装配工艺参数不正确。这些不正确的组装操作一旦发生就被记录为本地工人错误，而不管本地工人后来是否已经用来自远程专家的新指导指令纠正了它们。
为了收集实验任务中的错误，我们录制了远程专家的VR视图视频，以及本地工人的AR视图视频。在每个条件下的实验任务结束时，我们邀请远程专家和本地工作人员一起分析视频，以识别和统计远程专家和本地工作人员在任务期间所犯的错误。对于不确定远程专家创建的指令是否不正确或只是表达不清楚的情况，我们对远程专家和本地工人进行了访谈。此外，我们亦进行详细检查，以确保每个装配零件均正确装配及符合装配工艺要求，从而尽量减少识别本地工人错误时的疏忽。
5.5. Procedure
用户研究程序包括以下六个主要部分：（1）介绍，（2）调查用户的相关经验，（3）解释细节和培训，（4）在一个条件下完成任务（即，RECI或AGICA），并在视频，（5）完成用户体验问卷（即，系统可用性量表（SUS）、NASA任务负荷指数（NASA-TLX），以及合作经验问卷（参见表5））进行主观数据收集，并审查系统日志和视频记录进行客观数据收集，（6）以拉丁方序列的顺序用不同条件重复步骤（4）和（5），并在所有试验完成后按偏好对条件进行排序，（7）参与者对原型的自由探索和主观反馈的收集。每对受试者完成整个手术大约需要64分钟。在图11中，我们更详细地介绍了用户研究程序。
见图10。AGICA条件下用户学习实验任务的主要流程。(a-h)远程VR视图;（i-p）本地AR视图。(a)（i）在物理任务开始时的初始远程和本地场景状态，在远程侧，远程专家可以自由地导航和观察本地场景的共享3D重建，在本地侧，本地工作人员可以观察到叠加在人工标记上的小的三轴模型，这表明真实的和虚拟空间的坐标系已经统一;（B）、（j）远程专家使用目标部件的虚拟复制品（即，轴零件）以演示装配操作;（c），（k）原型系统自适应地产生用于目标零件（即，轴零件），包括装配路径、装配过程动画和显示装配过程信息的虚拟面板;（d），（l）本地工人在目标零件上执行装配操作（即，（e）、（m）远程专家使用“OK”手势向本地工人确认当前装配步骤已经正确完成并开始下一步骤，而原型系统删除当前装配步骤中涉及的所有指令;（f）、（n）原型系统自适应地产生用于需要更复杂的装配过程信息（即，定位块部件），包括装配路径、装配过程动画、装配工具的3D高亮原位注释（即，锤子），并且虚拟面板呈现装配过程信息;（g），（o）本地工人遵循由远程专家创建并由原型系统自适应地生成的指令来完成目标部件（即，定位块部件）与相应的装配工具（即，锤子）和装配过程参数;（h）、（p）本地工人按照远程专家的指令和自适应地生成的指令，逐步地装配每个部件，直到完成装配任务。
5.6. Participants
共有22名男性和2名女性（即，年龄在22至34岁之间（平均值（M）= 27岁，标准差（SD）= 2.02）的12对）被邀请参与用户研究。他们主要是我们的机械工程和机电一体化的学生，因此可以被视为工业物理任务的潜在目标群体。他们都自愿参加这项研究。实验结束时，所有参与者都收到了价值30元人民币（约4.35美元）的纪念品。如图12所示，我们详细描述了参与者的体验与相关的技术。
6. Results
本节介绍用户研究的分析结果。首先，我们给出了两种情况下的客观数据结果，包括所花费的时间和所犯的错误。然后，我们给出了主观数据的结果，其中包括工作负载水平，可用性，协作体验和用户偏好排名。
6.1. Performance time
使用两个不同接口的任务完成时间如图13所示。统计数据表明，参与者平均花费大约12%的时间完成任务，并通过上下文感知（即，例如，在AGICA条件下）（平均值= 465.25 s，标准误差（SE）= 18.34），基于对远程专家创建指令的支持（即，在RECI条件下）（平均值= 526.50 s，SE = 17.78）。
为了比较两种方法之间差异的显著性，我们对两种条件之间的性能进行了配对t检验（α = 0.05）。在分析结果的显著性之前，我们使用Shapiro-Wilk检验评估了所收集数据的正态性，结果表明，在RECI（W = 0.945，p = 0.569）和AGICA（W = 0.984，p = 0.995）条件下，任务的完成时间数据在α = 0.05的显著性水平呈正态分布。配对t检验显示两种情况之间存在显著差异（t（11）= 5.414，p < 0.001）。
6.2. Errors
我们在图14中列出了远程专家和本地工作人员在每种情况下所犯的错误数量。统计数据表明，远程和本地参与者使用AGICA界面（远程专家：中位数= 0;本地工作人员：中位数= 0）比使用RECI界面（远程专家：中位数= 1;本地工作人员：中位数= 2）的错误更少。
两两比较的显著性效应采用Wilcoxon符号秩检验（α = 0.05），结果表明RECI与AGICA之间存在显著性差异远程专家（Z =-2.640，p = 0.008）和本地工作人员（Z =-3.133，p = 0.002）的条件。
6.3. Workload
NASA-TLX包括评级和权重。参与者被要求在一种条件下完成任务后对六个分量表进行评分，每个分量表代表一个影响工作量的因素。每个分量表都需要从0到100（需求最少到需求最多）的数字评分，四舍五入到最接近的5的倍数。权重由参与者从成对的选择中选择与工作量最相关的分量表来确定。从6个分量表的15个组合得出的权重从0到5不等（最不相关到最相关）。最后，将评级和权重结合起来，得出加权平均值，从而确定总体工作负载得分。
综合评分和权重的总体工作量分数如图15所示。我们进行了Wilcoxon符号秩检验（α = 0.05），以分析成对比较的显著性效应。总体工作量结果表明，AGICA界面使远程专家能够表达指导信息（Z =-2.667，p = 0.008），与RECI接口相比，工作人员以显著较低的工作负荷水平执行任务（Z =-2.275，p = 0.023）。具体而言，对于远程专家，RECI和AGICA条件下的平均加权平均NASA-TLX评分分别为48.61和24.8（SE = 5.99和3.68），而对于当地工作人员，相应的平均加权平均评分分别为66.2和46.5（SE = 4.47和4.16）。
此外，图16和图17中示出了远程专家子量表工作量评级和相应权重，图18和图19中示出了本地工作者子量表工作量评级和相应权重。两种条件下工作负荷评级和权重的每个子量表的Wilcoxon符号秩检验（α = 0.05）结果见表6。对于远程专家，分量表的工作量评级显着不同的精神需求，身体需求，时间压力，努力，和挫折水平。心理需求、身体需求和工作表现三个分量表的权重存在显著差异。对于当地工人来说，子量表工作量评级在精神需求、时间压力、努力和挫败感水平方面存在显着差异。心理需求、身体需求、时间压力、工作绩效四个分量表的权重存在显著差异。
6.4. Usability
如图20所示，由于远程专家和本地工作人员角色的参与者具有不同的用户界面，因此我们分别分析了远程专家和本地工作人员的SUS调查问卷结果。对于远程专家，AGICA的平均SUS评级（M = 85.2，SE = 1.69）高于RECI（M = 77.9，SE = 1.79）。
对于当地工人，AGICA的平均SUS评分（M = 88.1，SE = 1.35）也高于RECI（M = 80.4，SE = 1.86）。此外，Wilcoxon符号秩检验（α = 0.05）的结果显示，远程专家（Z =-2.815，p = 0.005）和本地工作人员（Z =-3.077，p = 0.002）在两种情况下的SUS评分存在显著差异。
6.5. User experience
为了研究两种不同的界面条件如何影响协作体验，我们分析了受试者对协作体验问卷的反馈（见表5），并使用Wilcoxon符号秩检验（α = 0.05）检查了RECI和AGICA条件之间成对比较的显著影响，如表7所示。在图21和图22中，我们展示了平均评级分别担任远程专家和本地工作人员的参与者的结果。
结果表明，AGICA条件下的远程专家在互动（Q1）、专注（Q2）、信心（Q3）、协作（Q5）、享受（Q6）、表达（Q7）和协助（Q8）方面比RECI有显著改善，但在团结（Q4）方面没有改善，而AGICA条件下的本地工作人员在互动（Q1）方面比RECI有显著改善，专注（Q2）、自信（Q3）、团结（Q4）、合作（Q5）、享受（Q6）、理解（Q9）和乐于助人（Q10）。
6.6.用户偏好
在完成两个界面上的任务后，参与者将它们从好到差进行排名。结果表明，大多数参与者（远程专家：11人，本地工作人员：12人）更喜欢AGICA界面.
6.7. Case analysis
上述用户研究结果表明，AGICA与以RECI为代表的典型MR远程协作方法相比，可以提高性能，减少错误和工作量，提高易用性和用户体验，更受用户青睐。这两个条件之间的主要区别在于，基于RECI的AGICA还支持自适应指令生成。与现有的MR远程协作方法相比，AGICA得益于其自适应指令生成机制和自适应生成指令的特性，使得远程专家指令的生成过程更加高效、轻松，而指令的形式更易于本地工作者理解。为了更清楚地说明AGIVA与RECI相比协作装配过程的优势及其潜在原因，我们从用户研究的实验任务中选择了一个典型的协作装配步骤进行全面分析。具体地，我们关注于组装钳口螺钉的步骤，其涉及相对复杂的组装过程（即，零件可以在多个位置装配（但只有一个位置是正确的），并且需要相应的工具和特定的装配工艺参数）。图23中描绘了详细的过程。
(1)自适应指令生成机制的优点
从自适应指令生成机制的角度来看，AGICA通过基于远程专家的装配意图和本地环境的上下文信息自适应地生成指令来补充远程专家创建的指令。首先，这减少了指令创建所需的交互行为，从而减少了远程专家的工作量并提高了指令创建效率。具体地，在RECI条件下，典型的装配步骤场景需要远程专家用3D草图绘制装配路径（参见图23 a），用虚拟副本演示操作（参见图23 b），指定装配工具（如果需要）并为本地工人检索装配过程信息（参见图23 c）。相反，在AGICA条件下，远程专家仅需要执行前两个步骤中的一个（即，通过绘制三维草图来显示装配路径（见图23 a）或操纵虚拟复制品来演示操作（见图23 b））来表达装配意图，并且系统自适应地生成所有的指令（见图23d），大大减少了创建指令所需的交互行为。
其次，它还减少了远程专家丢失相关信息或表达相互矛盾的指示的风险。当远程专家使用RECI接口来引导本地工人组装涉及相对复杂的组装过程的部件（例如，颚式螺钉）时，远程专家需要使用各种不同的交互来在短时间段内创建多个非语言通信提示（参见图23 a-c）。这种复杂的多信息处理挑战了远程专家的注意力，有时会导致错误。例如，当远程专家通过在其上组装虚拟复制品将钳口螺钉的组装位置指定为更远的安装孔时（参见图23 b和f），但通过显示虚拟面板错误地传输了有关近端安装孔的工艺信息的指令（参见图23 c和g）。相比之下，在AGICA条件下，关于装配路径、装配过程动画、相关工具和装配过程信息的指令都是基于上下文信息和远程专家的装配意图自适应地生成的，有效地降低了这些错误的可能性（参见图23 d和h）。
最后，它确保指令与工作场景保持正确的空间关系，从而减少当地工人之间的误解。在RECI条件下，由于3D重建场景的低精度和3D空间中缺乏物理约束，远程专家倾向于提供更粗略的说明，其仅关注于指示目标部件及其目标组件位置（参见图23 a和e）。因此，这些指令可能会忽略与工作空间的实际空间关系以及装配过程的可行性。相比之下，AGICA接口基于上下文信息自适应地生成指令以确保与空间关系的对准（参见图23d和h）。
(2)自适应生成指令特性的好处
从自适应生成指令的特点来看，AGICA得益于指令的详细性、自适应性和标准化。具体地，细节意味着自适应生成的指令可以尽可能详细，并且远程专家不需要额外地交互以创建指令，而是可以简单地表达其组装意图（参见图23 a或B）。自适应能力意味着自适应生成的指令可以基于上下文信息自适应地更新，以便一旦生成，它们就可以连续地指导本地工作人员，而不需要远程专家重新解释或演示任务过程，以响应本地场景的变化，例如自适应生成的装配路径和钳口螺钉的装配过程动画（见图23 d和h）。最后，标准化意味着自适应生成的指令基于相同的生成和可视化方法，从而避免了远程专家的个人偏好在指令创建中的影响。例如，在RECI条件下，远程专家可以以不同的方式绘制装配路径或演示装配过程（参见图23 a和B），而在AGICA条件下，自适应生成的指令仅将装配路径表示为基于路径规划算法的装配路径（例如，A* 算法）和装配过程的演示，作为在均匀CAD运动中装配过程的动画（见图22 d和h）。
见图23。用户研究中基于RECI和AGICVA接口的典型协作案例。(a-d)远程VR视图;（e-h）本地AR视图。(a-c)（e-g）在RECI界面下，远程专家用3D草图绘制爪螺钉的装配路径，操纵爪螺钉的虚拟复制品以演示装配操作，然后创建扭矩扳手的虚拟复制品以指示装配工具，并点击按钮以检索装配过程信息;（d）（h）在AGICA接口下，原型系统基于操纵爪螺钉的虚拟复制品的远程专家的交互行为和本地上下文信息自适应地生成指令。
7. Discussion
我们的研究的重点是调查的效果添加支持的自适应生成的指令，通过上下文感知MR远程协作的工业物理任务，特别是工业装配任务，需要复杂的过程信息。我们比较了两种不同接口的有效性（即，在性能（H1）、误差（H2）、工作量（H3）、可用性（H4）、用户体验（H5）和用户偏好（H6）六个假设下，研究了RECI和AGICA在相对复杂的工作空间中执行远程协同物理装配任务的性能。
如图13和图14所示，通过上下文感知对指令的自适应生成的额外支持有助于更快的任务执行时间，并且可以显著减少远程专家和本地工作人员在协作任务期间的错误。这些结果支持假设H1和H2。H1和H2的结果是一致的，因为当错误发生时，远程专家和本地工作者之间需要更多的信息交换来纠正错误，这明显降低了任务效率。如第5.7节“案例分析”中所分析的，与以RECI为代表的现有MR远程协作优化方法相比，一方面，AGICA受益于通过上下文感知的自适应指令生成机制，使远程专家能够更高效地创建指令，减少工作量，减少指令内容错误。另一方面，AGICA还受益于生成指令的详细性、适应性和标准化的特点，使当地工人更容易理解指令，减少重复沟通和误解。
NASA-TLX的调查报告表明，与RECI接口相比，AGICA接口在心理需求、身体需求、时间压力、努力和挫折水平方面减少了远程专家的工作量（见图16）。这种现象可能源于AGICA接口在自适应指令生成中提供的支持，它减少了远程专家对诸如装配方法规划之类的任务的认知负荷，最大限度地减少了创建指令所需的交互操作（如绘制装配路径或检索装配过程信息），并且减少了调整指令的视觉表示（例如将指令与本地场景对准）的努力。因此，这简化了远程专家创建指令的过程，使其更有效，更简单，更少的负担。此外，据观察，采用AGICA接口将远程专家从精神和身体需求中解放出来，使他们能够更多地关注个人表现（见图17）。对于本地工人来说，AGICA界面减少了精神需求、时间压力、努力和挫折水平（见图18）。这种减少可以归因于自适应生成的instructions的详细，自适应和标准化的特性，这些instructions以与本地场景的正确空间关系呈现，使本地工作人员更容易理解和有效执行任务。此外，当使用AGICA接口时，精神需求不再是当地工人工作量的主要来源;相反，重点转移到身体需求，时间要求和个人表现（见图19）。总的来说，如图15所示，AGICA接口在完成协作远程组装任务时降低了远程和本地参与者的工作负荷水平，从而支持假设H3。
SUS调查显示，与RECI条件相比，远程和本地参与者在AGICA条件下感知到更高的可用性，这支持假设H4（见图20）。正如我们前面分析的，AGICA接口支持高效的指令自适应生成机制，以及更清晰、更标准化的指令形式，匹配本地工作空间关系和情境信息，使远程专家在远程协作任务中表达指令和本地工作人员理解指令更高效、更容易、更不易出错，从而与RECI相比显著提高可用性。
我们使用合作经验问卷（见表5）来评估参与者的整体合作经验和对指令的表达和理解的经验。如图21和图22所示，整体协作体验的结果表明，远程和本地参与者的RECI和AGICA条件在更好的交互（Q1）和协作（Q5）以及改善专注感（Q2）、自信（Q3）和享受感（Q6）方面存在显著差异。此外，对于本地工人来说，两种条件在共同的幸福感方面也存在显著差异（Q5）。然而，我们发现通过上下文感知对自适应生成指令的额外支持并没有为远程专家的团结感（Q5）提供那么多好处。这可能是因为在RECI和AGICA条件下，远程专家通过共享3D视频支持的本地场景实时3D重建获取本地态势信息，因此在两种接口条件下对本地工作空间的感知水平相似。指令的表达和理解的结果表明，两种情况下，远程专家在表达指令以帮助他们的合作伙伴（Q7和Q8）和本地工人在理解指令以帮助他们执行任务（Q9和Q10）有显着差异。因此，总而言之，远程用户和本地用户两者的用户体验可以受益于通过上下文感知的自适应指令生成的附加支持，这对于假设H5是支持的，与上面针对客观数据（即，效率和错误）和主观反馈（即，工作负载和用户可访问性评级）。
在用户偏好方面，正如预期的那样，大多数参与者更喜欢AGICA界面而不是RECI界面，支持我们的假设H6。
最后，这项研究对MR远程协作系统的设计和开发具有一定的影响。许多工业协同物理任务需要复杂的过程信息，需要在复杂的制造环境中手动执行，例如在本研究中具有障碍物（可能是风险区域）的工作场景中具有复杂装配过程参数的装配任务以及常见的工业维护任务。当前流行的MR远程协作系统受限于不充分的位置评估信息共享和繁重的指令创建交互。通过上下文感知添加对指令的自适应生成的支持以补充专家操作演示，允许更简单地生成更直观、详细和标准化的指令，这些指令更有效地表达并且更容易理解。基于上述讨论，我们建议MR远程协作系统的工业任务，应考虑支持自适应生成的指令，通过上下文感知，以提高MR协作系统的智能。
8. Limitations
总的来说，受试者对通过上下文感知的自适应生成指令的支持做出了积极和有利的反应作为MR远程协作系统的一个创新特性，并一致认为它对于工业协作物理任务，特别是需要复杂过程信息的工业装配任务具有一些潜在的优势。然而，在原型系统的实现中仍存在一些局限性，可以在我们当前和未来的研究中进一步研究。
(1) 任务可用性约束
该原型目前支持自适应生成指令，该指令集中于与远程协作工业装配任务相关的指导信息（即，装配路径、装配过程动画、相关工具和装配过程参数），当处理其他类型的非连续物理任务时潜在地限制了可用性。协作工业装配任务是协作工业物理任务的良好代表，因为它们可以被抽象为远程专家指示本地工人如何以某些要求（例如，工具和参数），这在紧急维护和远程培训任务中非常常见。然而，支持更多类型的指令的自适应生成（例如，特定手动操作方法的动画）可以提高我们的原型在面对各种工业协作任务时的可使用性。因此，这可能是改进我们的原型的一个可行的方向。此外，为不同的协作物理任务定制所支持的自适应生成的指令可以是增加系统可用性的另一种可用解决方案。
(2) 装配意图识别限制
该原型目前仅支持基于两个交互行为序列的简单逻辑规则（即，绘制3D草图或操纵虚拟复制品以指示本地工人执行组装步骤）。用户研究结果表明，该原型系统在处理工业装配任务时表现良好，其装配意图识别方法能够有效地从使用虚拟副本和三维草图的动作序列中识别出远程专家的装配意图，并自适应地生成指令以补充远程专家的装配意图。然而，将我们的原型扩展应用于更广泛的工业物理任务会带来某些限制。这主要是因为基于逻辑规则的意图识别是不连贯的和非结构化的，使得其难以缩放和维护（Sukthankar等人，2014年）的报告。一方面，基于逻辑规则的意图识别方法可能需要人工设计新的动作序列及其与相应意图（而不仅仅是装配意图）的关系，从而带来了扩展问题。另一方面，随着逻辑规则的增加，冲突的可能性也会增加，从而使长期维护更加复杂。因此，我们正在通过收集远程专家的交互行为特征来训练隐马尔可夫模型（HMM）（Kelley等人，2008），并基于训练好的隐马尔可夫模型，从给定的观察到的交互行为序列中计算出最可能的装配意图。
(3) 语言通信软件支持约束
本研究采用协同定位协作的用户研究，以模拟远程协作。在这种情况下，我们将参与者安排在同一个房间，但使用物理隔离将他们分开，因此参与者仍然可以进行口头交流，但不能直接观察他们的合作伙伴及其合作伙伴的工作场景，这可以减少远程协作应用中常见的口头交流问题的影响（例如，网络延迟和声音失真）对用户研究的影响。语言交流的软件支持不是的研究的核心因素，而是跨区域的真实的远程协作的必要特征，因此应该作为原型的实际工业应用的工程建模问题来解决。事实上，我们正在改进原型，以实现基于WebRTC的在线口头交流软件支持。
(4) 网络连接限制
当前原型的无线网络连接基于Wi-Fi 6协议，具有以下理论网络能力：低延迟（20 ms）、高速度（1 Gbps）、高吞吐量（9.6 Gbps）、高可用性和可靠性（99.99%），但连接密度低（每个部件8个）（Mourtzis、Angelopoulos和Panopoulos，2021）。在用户研究中，实验参与者没有感觉到任何显著的延迟，而创建（即，远程专家创建的指令以及系统自适应生成的指令）和指令共享接近实时。但在工业场景中，一方面，Wi-Fi难以实现全覆盖，这无疑限制了灵活性，另一方面，Wi-Fi在承受多用户连接负担时也会出现不稳定。相比之下，5G技术不仅满足千兆速率下的低延迟，还支持大量分布式用户和应用同时连接（每部分100个）时的稳定性能（Mourtzis等人，2021年）的报告。因此，我们正在考虑使用5G连接技术来增强我们的MR远程协作原型系统，以提高灵活性和网络能力。
(5) 共享3D立体场景限制
目前的原型利用单个3D（RGBD）摄像机来捕获本地场景，以确保稳定的网络同步，从而实现3D立体本地场景的实时共享。然而，当前的3D（RGBD）相机仍难以准确可靠地实时捕捉高保真度的3D场景，这使得远程专家难以观察本地工作空间情况，并且使得系统难以提取本地上下文信息以自适应地生成指令，尤其是在复杂的工业场景中。当前的原型通过使用由高精度3D CAD模型表示的虚拟代理和虚拟复制品来最小化这些限制对远程协作物理任务中与任务相关对象的交互的影响（Zhang等人，第2022条a款）。接下来，为了在实际的工业应用中获得更好的用户体验和更精确的自适应生成指令，使用更高效的动态3D重建算法和多个更高性能的3D相机或更大的网络带宽可能是解决这一问题的途径。
9. 结论和今后的工作
远程协作的关键挑战是使远程专家能够轻松地为本地工人创建清晰详细的指令，这些指令与复杂工业物理任务的情况信息相匹配，并与本地工作空间呈现正确的空间关系。在这项研究中，我们设计并开发了一个新的MR远程协作原型系统，它可以自动和自适应地生成基于上下文感知的指令，以补充那些由远程专家创建，使远程专家可以很容易地提供本地工作人员清晰，详细和标准化的指令，符合正确的空间关系与本地场景，通过使用简单直观的交互。
我们进行了一个用户研究的基础上的原型，调查的影响，支持自适应指令生成通过上下文感知的MR远程协作的工业物理任务，特别是工业装配任务，需要复杂的过程信息。我们比较了两种不同的接口条件：一种是基线解决方案，它使用典型的MR远程协作接口来支持远程专家使用流行的非语言交流线索在共享的3D重建的本地场景;另一个是我们的新的接口，另外支持自适应生成的指令，通过上下文感知（AGICA）的典型接口的顶部。结果基本上证实了我们最初的假设，即通过上下文感知添加对自适应指令生成的支持会导致更高的性能、更少的错误和更低的工作量，以及更好的可用性、用户体验和用户偏好。这意味着，收集和分析上下文信息的用户和用户的环境，以支持自适应生成的指令是一种可行的方式，以提高MR远程协作的有效性。
用户研究中的实验任务案例表明，所提出的MR远程协作原型系统在涉及复杂过程信息的工业装配任务以及具有类似协作过程的工业物理任务（即，远程专家指导本地工人如何根据某些要求将物体从初始位置操纵到最终位置）。因此，我们的系统显示出良好的潜力，在工业应用中，如远程装配/拆卸指导，紧急维修，和远程培训。在下一阶段的研究中，我们计划探索两个主要途径来增强原型。一方面，我们的目标是提高原型的自适应指令生成。这涉及提高系统对用户及其环境的上下文感知，并为不同的任务类型设计相应的分析和规划方法，使系统能够自适应地为更广泛的工业任务场景生成指令。另一方面，我们打算提高原型的远程专家意图识别。这涉及如何收集关于用户的多维交互行为特征（例如，凝视和身体的时间和空间状态的序列等），以及设计更先进的意图识别方法，使系统能够稳定地识别更大范围的远程专家意图，以自适应地生成所需的指令。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
