基于态势感知的智能机器透明度与人-智能机团队效能研究

摘要

人与智能机器之间的有效协作依赖于人类对其智能机器保持适当的理解和合理的判断。提出了一种基于态势感知的人机透明（SAT）模型，以支持人工智能体团队中的人的感知。当智能机器从工具过渡到人类的团队伙伴时，模型的扩展是必要的，以支持需要双向透明的团队合作范式。我们提出一个更新的模型可以更好地在涉及更高级的智能机器队友的范例中告知人-智能机器交互。本文描述了该模型在三个研究项目中的应用，并举例说明了该模型在不同情境下的效用：自主警卫队，人类和多个下属机器人之间的中介以及一个计划推荐智能机器。通过这一回顾，我们表明SAT模型仍然是一个可以协助人机相互理解、相互协作，增进人机之间的信任。

相关声明：机器智能的进步要求将透明设计作为与人类伙伴合作的智能机器的优先顺序。本文提出了一种强调团队合作、双向沟通和操作员-机器态势感知的透明模型。这些因素为有效的人-智能机器团队设计用户界面提供了一种方法。

关键词：透明性；自主性；人-机器人协作；人-机器人交互；

双向通信

简介

随着自主系统变得更加智能，更能做出复杂的决策（Shattuck 2015；Warner Norcross and Judd 2015），人类越来越难以理解系统输出背后的推理过程。然而，这种理解对于双方有效合作至关重要，尤其是在动态环境中（Chen和Barnes 2014）。事实上，DARPA于2016年8月宣布的可解释人工智能（2016年Gunning）项目强调了使智能系统更容易被人类理解的重要性。美国国防科学委员会（U.S.Defense Science Board）最近发表了一份报告《关于自主系统的夏季研究》（Summer Study on Autonomy，Defense ScienceBoard 2016），在报告中，委员会指出了人类对自主系统信任的六大障碍，即“可观察性、可预测性、可定向性，“可审计性”和“对共同目标的相互理解程度低”是关键问题（第15页）。Chen和她的同事（2014年）开发了一个模型，基于情境感知的智能体透明度（SAT），用于组织与支持人类感知智能体有关的问题：1）当前行动和计划；2）推理过程；3）结果预测。在这篇论文中，来自三个项目的实验结果将被用来说明智能机构透明度对于支持人类自主团队效能的效用。此外，原始的SAT模型被扩展到包含团队协作和双向透明性，以应对动态任务环境中的挑战。

本文中讨论的“智能机器”包括虚拟智能机器，它是可以被视为“智能”的软件系统（休息时的自治；国防科学委员会2016年），也可以是具有一定自主性的机器人（动作的自主性；国防科学委员会2016年），它们是具体化和独立的（Fong，et al。2005年；Sycara和Sukhankar 2006年）。这些智能机器人的特点是他们的自主性，对环境的反应性，追求目标导向的行为（Russell和Norvig，2009；Wooldridge和Jennings 1995）。本文的重点是通过混合主动系统与人类互动的这类智能机器，在这种系统中，人和智能机器协作做出决策（Allen、Guinn和Horvtz1999；Chen和Barnes 2014）。在混合主动系统框架中，智能机器可以有几个不同的任务，并且根据每个任务的需要和人类队友的需要，以不同程度的自主性执行每个任务（Kaupp、Makarenko和DurrantWhyte 2010）。设计用于提供低水平混合倡议交互的智能机器可以报告出现的关键信息或在不确定的情况下寻求解释和澄清（Allen、Guinn和Horvtz1999）。在更高的层次上，可以将智能机器设置为在预定义的情况下（例如，当人类过载或反应太慢时）采取主动，接管计划的实施-在需要时提示人类做出决策或实施预先指定的算法来实现目标，一旦子任务完成，将主动权还给人类（Allen、Guinn和Horvtz1999；Chen和Barnes 2014；Parasuraman、Barnes和Cosenzo2007；Parasuraman和Miller 2004）。在混合主动交互的最高级别，智能机器积极地监视当前任务，并使用它所拥有的关于其能力、人的能力和对其资源的其他需求的信息来评估它是否应该采取主动（Allen，Guinn和Horvtz1999）。人工操作员通常是混合倡议框架中的最终权威，通常以监督的身份执行任务，特别是在军事环境中，这是由于战斗中固有的复杂性和安全考虑因素（Barnes、Chen和Jentsch2015；Chen和Barnes 2014；Goodrich 2013）。这种关系容易出现各种监督控制问题，包括操作员错误率、难以保持态势感知（SA）以及对智能机器人的不适当信任（Chen和Barnes 2014）。由于未经校准的信任可能会由于操作员误用或不使用自动化系统而导致灾难性的失败，因此至关重要的是，智能机器人的行为、推理和预期结果对操作员是透明的（Bitan和Meyer 2007；deVisser等人，2007年）。2014；Linegang等人。2006年；Parasuraman和Riley 1997年；Seppelt和Lee2007年；Stanton、Young和Walker 2007年）。

基于态势感知的智能机器透明性

Lee和See（2004）确定了一个透明度影响操作者信任校准的三个组成部分：目的（purpose）、过程(process)和绩效(performace)（3Ps）。Lee（2012）提出，为了增加机器智能机器的透明度，系统的3P和性能历史记录应该以简化的形式（例如，集成的图形显示）显示给操作员，这样操作员就不会被太多的信息淹没（Cook和Smallman 2008；Neyedli、Hollands和Jamieson 2009；Selkowitz等人。2017年；Tufte2001年）。Chen and associates（2014）利用了Endsley的情境意识模型（SA；Endsley1995）、BDI（信念、愿望、意图）智能机器框架（Rao和Georgeff 1995）、Lee的上述3Ps（2012）以及其他相关的前期工作（Chen和Barnes 2012a，Chen和Barnes 2012b；Lyons和Havig2014），以开发基于态势感知的智能体透明度（SAT）模型（图1）。从Endsley（1995）提出的SA的三个层次-感知、理解和预测判断中获得灵感，SAT模型描述了智能机器人需要传达的关于其决策过程的信息，以促进有效的人-智能机器团队合作所需的共享理解（Chen等人，1995年）。2014年；Stubbs、Wettergreen和Hinds 2007年；Sycara&Sukhankar 2006年）。SA是三个层次阶段的累积结果，SAT模型由三个独立的层次组成，每一个层次都描述了agent为了保持与人类的透明交互而需要传递的信息（Chen et al。2014年；恩斯利1995年）。

在第一个SAT级别（SAT 1），智能机器向操作员提供有关智能机器当前状态、目标、意图和计划的基本信息。这一级别的信息有助于人类感知智能机器当前的行动和计划。在第二个层次（sat2），智能机器揭示其推理过程以及规划其行为时考虑的约束/启示。通过这种方式，SAT2支持人类对智能机器人当前行为的理解。在第三个SAT级别（SAT 3），智能机器向操作员提供有关其对未来状态的预测、预测的后果、成功/失败的可能性以及与上述预测相关的任何不确定性的信息。因此，sat3信息有助于人类对未来结果的预测。SAT 3还包括不确定性方面的透明度，因为预测是基于许多因素，而这些因素的结果可能并不确切（Bass、Baumgart和Shepley2013；Chen等人。2014；Helldin 2014；Mercado等人。2016年；Meyer和Lee 2013年）。先前的研究表明，传递不确定性的智能机器对联合人-智能机器团队的绩效有效性和操作者对智能机器可信度的认知产生了积极影响（Beller、Heesen和Vollrath 2013；McGuirl和Sarter 2006；Mercado等。2016年）。以下部分详细说明了与智能机器的透明交互如何影响人类对智能机器的信任。

                           

图1 基于原始情境感知的Age