在载人无人编队中实现自适应辅助的操作员状态估计-文献阅读

Abstract

随着无人机（Unmanned Aerial Vehicle,UAV）技术的不断发展，无人机机载自动化越来越能够执行以前由人类操作员完成的任务。因此，无人机的角色正在从单纯的工具转变为集成有人-无人系统的成员。然而，实现这种合作所需的高度自动化会给操作人员带来一系列新的负面影响，例如自满(complacency)或自动化偏差(automation bias)。自适应辅助是应对人机交互中出现的这些负面影响的一种方法。为了实现自适应辅助，我们为 MUM-T 飞机应用程序提出了一个认知状态估计框架。这种方法的目标是实时评估飞行员的注意力分配和 SA，并识别可能导致性能下降和错误的情境图的可能故障。提出了 MUM T 驾驶舱模拟器的设计，以描述这种认知状态估计框架如何集成到人类自主团队环境中。介绍了初始模拟器实验的结果，并确定了进一步研究的领域。

关键词：注意力、态势感知评估、眼球追踪、自适应辅助、人类自主合作

领域：无人机；人机交互
问题：实现操作员的自适应辅助
方法：1)实时评估飞行员的注意力分配和SA。2)识别可能导致性能下降和错误情境图的可能故障

1 引言

载人平台和无人平台之间的密切合作在军事和民用应用中都变得越来越重要。在未来的空中行动中，飞行员驾驶多架无人机(UAV)是一种可能的情况(Chen，2018)。载人-无人团队(MUM-T)描述了载人和无人团队成员之间为实现共同目标而建立的关系。这种团队关系只有在航空、系统和传感器管理以及任务管理方面的高水平无人和载人系统的自动化中才能实现（Cummings, Bruni,
Mercier, & Mitchell, 2007）。

然而，在多任务环境中，人类操作员对高水平自动化的负面影响是众所周知的(Bainbridge, 1983; Woods & Billings,1997)。当平台指导从手动控制转变为监控时，新的操作员任务将主要与监控、异常情况的处理和自动化资源的管理有关(Woods & Billings, 1997;Sheridan, 2012)。这导致由于决策过程中的高需求和监测过程中的低参与，导致工作负载分布不均匀。此外，操作人员经常无法将注意力分配到其环境的相关方面，这将导致自动化意外，自满和决策偏差等效果(Parasuraman & Manzey, 2010)。这些性能下降可以用由于失去态势感知(Situational Awareness, SA)而导致的环外现象(out-of-the-loop phenomena)来解释(Jones & Endsley, 1996)。

为了解决这些问题，在设计人机系统时考虑到人类的认知是有益的。考虑到这一点，人们提出了不同的方法来抵消极端的工作量和监测问题。认知建模 ( Demir, McNeese, & Cooke, 2017)、认知任务分析（Schwerd, Lindner, &Schulte, 2020）或认知自动化设计(Schulte, 2012)是应用于系统设计的概念，旨在减轻自动化的负面影响。另一种方法是适应性辅助系统(Adaptive assistance systems, AAS)的应用，最初是在决策支持系统中提出的 (Rouse，1988)。AAS会根据操作者的认知状态和当前情况的认知状态来调整其性质和支持水平 (Parasuraman, Barnes, & Cosenzo, 2007)。其主要动机是，任何辅助功能都可以对孤立的任务有用，但在实际操作中却是无用甚至不利。这尤其适用于操作环境（例如航空），其中任务出现在多任务环境中。AAS的支持应该考虑到这些不同的情况。因此，AAS的核心要求是了解情况和人工操作员状态的各个方面，这远远超出了辅助功能本身的需要。

在AAS的设计中，自适应触发器(adaptation trigger)的选择有很大的自由度。Feigh, Dorneich, and Hayes (2012)提出了一种分类法，其中触发器根据操作员、系统、环境、任务或时空方面进行分类。许多研究将其范围限制在基于时间或操作者性能的触发器上，而忽略了操作者的认知状态 (Kaber & Endsley, 2004; Parasuraman, Cosenzo, & DeVisser, 2009)。其他研究包括评估操作者的状态以触发援助，但都是为人工任务环境开发的，例如Multi-Arrribute Task Battery((Prinzel, Freeman, Scerbo, Mikulka, & Pope, 2000)。在现实环境中，将认知状态用于AAS的研究还很少 (e.g. Brand & Schulte (2016)).。

有不同的方法来定义和测量操作员的状态作为AAS的输入。在研究文献中，有可能区分依赖和独立于该领域的认知状态估计Domain Dependence in Investing: Why Persistence is Key。领域独立(domain independent)的认知状态估计旨在量化一般的状态，如某些情绪 (El Ayadi, Kamel, & Karray, 2011)，疲劳 (Yang, Lin, & Bhattacharya, 2010)， 心理工作负荷 (Heard, Harriott, & Adams, 2018) 或者注意力不集中性耳聋 (Dehais, Roy, & Scannella, 2019)。领域依赖(domain dependent)的认知状态试图在操作者状态和任务域的各个方面之间建立联系。例如，意图识别 (Berndt, Emmert, & Dietmayer, 2008)或活动识别 (Honecker & Schulte, 2017) 与操作员任务密切相关。领域独立的认知状态可以用于适应单任务环境中的辅助，但它们在多任务环境中的应用是很困难的。相反，领域依赖的认知状态提供了关于操作者任务的信息，因此可以通过利用任务情景来改善AAS。例如，当被测量到高工作负载时，了解其原因是至关重要的。因此，我们认为，情况、认知状态和辅助功能不应该被独立考虑。例如，Brand 和 Schulte（2016）实现了一个军用直升机应用的AAS。作者使用了一个领域任务模型来识别可能的适应性和估计飞行员的工作量。人类的认知状态应该根据情境整合有关辅助功能的领域信息，否则对AAS的支持将仍然是有限的和不灵活的。

一种直接考虑领域知识的认知结构是情境感知(Situational arareness, SA)。SA描述了一个人类操作员感知他们的环境的概念，知道什么，正在发生什么，并能够将操作的状态投射到不久的将来(Endsley, 2016)，根据对航空事故的分析，情景图像的丢失—尤其是在感知水平上—是导致航空领域致命错误的原因(Jones&Endsley，1996)。与SA的想法一致，Silva and Hansman（2015）从飞行员的心理模型偏离实际飞机状态的角度描述了航空错误。到目前为止，SA通常在模拟器研究中进行评估，以评估界面设计或操作员的表现，但情境感知被认为是适应性的一个有价值的措施 (Parasuramanetal.，2007)。然而，很少有研究将SA作为AAS的适应触发器，因为对SA的实时评估仍然是一个开放的研究问题(Salmon, Stanton, Walker, & Green, 2006)。在这种情况下，Wickens, McCarley, and
Alexander (2007) 开发了一个注意力和情境感知模型来预测飞行员在飞行模拟中的表现。在多无人机制导场景中，拉特瓦尼、Ratwani, McCurry, and Trafton (2010)通过眼球追踪分析视觉扫描行为，并开发了一个logistic回归模型来预测SA和结合固定和扫描频率的损伤概率。虽然这些SA模型获得了良好的检测率，但它们依赖于对注视测量和误差的后处理分析，因此不适合实时评估。Fortmann and Mengeringhausen（2014）提出了一种与我们的贡献密切相关的现场SA评估方法。在多无人机引导的背景下，作者使用眼球跟踪来估计信息感知概率，并从实际模拟状态的偏差中推断出SA。 显示器（？）基于此评估进行了调整，以改进操作员的监控。在他们的实验中，操作员任务在通过按一个按钮引导无人机和解决故障的狭窄背景下非常均匀。在最近的一项研究中，, Fuchs,
Hochgeschurz, Schmitz-Hu¨bsch, and Thiele (2020) 研究了如何使用多维评估来触发防空战中的不同系统适应性。对心理负荷和注意力集中的估计是基于鼠标的交互，但作者证明，这些认知状态如何被用于不同的适应机制。Klaproth et al.（2020）提出了一种先进的认知状态估计方法，通过将驾驶舱交互作用和脑电图测量与驾驶员任务的ACT-R模型相结合，以识别由于非注意性耳聋而错过的声信号。通过整合飞行员观察和认知建模，他们能够预测个体行为，这可以作为有效的认知辅助的基础。该系统本可以进一步受益于眼球跟踪措施的集成。我们从文献中得出结论，虽然AAS的概念并不新颖，但在现实环境中的应用很少。特别是将认知状态整合到适应机制中被证明是困难的。此外，我们认为，操作员状态和情境方面的集成有可能改善人机自动化交互。此外，正如上述研究所证明的那样，SA的在线测量可以为AAS提供一个有用的触发器。

在设计一个具有认知状态估计的AAS时有两个核心困难。

1. 设计自适应机制，它定义了AAS应该如何适应某些操作员和环境状态。
2. 认知状态估计必须在所需辅助的背景下稳健而有用

这篇文章解决了MUM-T应用程序中的这两个问题。首先，我们提出了一种策略，为AAS提供了一个不断升级的机制。由此，我们推断出一个满足实现该策略需求的系统体系结构。最后，我们提出了一个认知状态估计，作为实现的第一步。该系统和认知状态估计可以为其他高度复杂的民用和军事领域提供一个实例。

2 系统设计

为这项研究提供了一个有用的展示，我们开发了一个AAS概念的MUM-T战斗机应用于一个军事机载领域。在这个人机系统中，一个AAS应该支持飞行员对他自己的飞机和多达其他三架无人机的任务管理。通过这一应用，我们演示了我们如何设计一个认知状态估计的AAS，它与它的领域紧密结合在一起。

2.1 应用

该应用程序是一个有人驾驶的战斗机飞行员从他的飞机上引导多架无人机。载人和无人组件的团队可以用一种用于人类认知团队的设计语言来描述平台、自动化以及人类操作员和软件代理之间的关系(Schulte, Donath， & Lange,2016)。图1显示了将载人飞机平台和无人机整合到一个团队的系统设计。

MUM-T操作的任务目标（工作目标）由Command-And-Control-Entity(C2)定义，可以被视为系统输入的信息。环境也被视为输入，由平台传感器感知，提供现状信息。团队中有几个演员扮演着不同的角色。人类飞行员拥有最高的权力，并通过将任务委托给无人机和使用他自己的飞机的常规自动化系统（如自动驾驶仪）来努力完成任务。认知代理代表飞机（驾驶舱辅助）或无人机上的软件实体。与人的团队相比，人、代理和系统组件之间存在两种关系:委派( Hierarchical)和合作(Heterarchical)(Schulte, 2012)。在委派模式下，飞行员将通用任务委派给无人机 (Lindner, Schwerd, & Schulte, 2019)。为了实现多平台任务规划，驾驶舱辅助系统中的自动规划辅助可以用来将任务委托给一架或几架无人机 (Heilemann, Schmitt, & Schulte, 2019)。任务计划和基于任务的指导的结合使飞行员能够以可维持的工作量指导几架无人机。然而，正如在本研究中已经讨论过的，操作员与高级自动化的交互容易出现错误。为了抵消这些影响，辅助代理和飞行员之间的合作将是有益的。合作意味着，辅助系统对任务、背景和操作人员有足够的了解，并能够根据这些方面调整其支持。在下面，我们描述了一个实现这种合作关系的AAS。

2.2 自适应辅助系统设计

第一个关键的设计问题是，如何在多任务环境中实现辅助的适应。为进一步的设计指定一个定义需求的一般行为是有用的。这个行为定义代表了AAS设计的起点。在本研究中，我们选择SA作为认知状态触发适应的中心模型。在此模型的行为定义基础上，我们修改了Schulte(2012)的AAS指南。一般来说，如果飞行员能够自行作出所有决定，AAS不应介入。但如果不是，则适用以下规则:

1. 如果操作者对客观相关的决策有一个错误的情境图，将注意力引导到相关信息上。
2. 如果操作员无法将注意力分配到相关信息上，可以通过聚合系统信息来支持决策。
3. 如果操作员仍然没有能力做出任何决定，而某个行动是绝对需要的，则代理决定并执行一个行动，如果取得授权的话。

为了实现根据这些行为规则操作的系统，可以为AAS派生出几个需求。

1. 首先，系统需要评估，操作员的情景图是什么。
2. 其次，它必须知道操作的当前状态。
3. 第三，AAS必须能够根据操作的状态来识别相关的决策和行动。

根据这些要求，我们导出了一个系统体系结构，如图2所示。

它符合Feigh等人(2012)给出的通用自适应系统架构。为了满足需求，该系统集成了三个动态知识来源：(1)认知状态估计：(2)飞机和无人机系统状态的表示：(3)任务规划器实现当前所有相关目标。在干预识别模块中，如果飞行员在最相关的决策方面有错误的情景图，所有信息都会被合并来识别。如果飞行员的情境感知偏离了系统的实际状态，或者他没有意识到情境的一个方面，那么情境图就是错误的。在前一种情况下，飞行员可能会认为他们拥有做出决定的正确信息，但这些信息是过时的。在后一种情况下，飞行员不知道存在一些信息。这两种类型的SA错误分别用偏差识别和间隙识别模块来表示。在识别一个错误的SA后，根据其与当前任务的相关性来评价缺乏信息的类型。如果根据行为规则需要干预，干预生成模块通过调整飞行员界面或直接实施行动来选择适当的措施。

实现这种设计的第一步是对飞行员的SA的状态估计。我们将在本贡献的其余部分集中讨论这一点，其中我们描述一个支持这种方法的估计框架。

3 认知状态估计

所提出的概念需要一个认知状态估计框架，它提供了关于操作员的SA的信息。简单地说，系统估计操作员对当前情境的了解。在下一节中，我们将描述系统的设计，并讨论基于相关研究的设计选择。

图3说明了评估框架的架构。该工具链有三个功能部件。

1. 首先，利用眼球追踪系统对操作者的注视进行测量，并分析其连续注视流的语义和内容。
2. 其次，将提取出的信息插入到感知模型中。
3. 然后，通过合并关于该领域的先验知识，从所有感知到的信息中推断出SA。

下面将在以下章节中更详细地描述这些组件。

3.1 界面特征提取

由于视觉注意力和注视位置之间存在着很强的耦合关系，注视测量是估计人类视觉注意力的自然选择 (Brefczynski & DeYoe, 1999)。当飞行员盯着座舱里的显示器时，他们看到的是某个特定时间点系统状态的代表。为了记录这个固定的信息位，我们需要计算识别出驾驶舱界面所呈现的信息的语义和内容。作为一个例证，图4显示了我们的主座舱界面，突出显示了各种元素，给出了每个元素的语义和内容信息。假设飞行员查看主飞行显示器(PFD)的高度指示器，所呈现信息的语义是，该指示器显示PFD高度指示器。该指标的内容为系统状态的动态变化所显示的数值。为了自动评估信息的这两个特征，我们在注视像素测量可用时查询驾驶舱界面的语义和实际内容。给定显示信息的语义和内容，将信息特征插入到感知模型中，保持操作员感知的当前状态。这个查询是通过眼球追踪系统对连续流进行注视测量的。

3.2 感知模型

这里放上一个perception model的介绍
该模型既是感知的选择机制，也是工作记忆（短时记忆）的简单模型。作为一种初始方法，我们实现了一个基于两个假设的简单模型：

1. 首先，该系统将飞行员所关注的每个元素及其相关信息内容标记为已被感知。这并不完全准确，因为不注意视盲，或者更确切地说是“看但看不见”的现象(Newman，2011)。这意味着，一个飞行员注视着一个显示元素，但并不感知该信息。解决这个问题的一个方法可能是整合基于注意模型的感知概率，如Wickens等人（2007）的SEEV模型。SEEV的一个应用。通过将与显著性S、期望E、努力E和价值V相关的数值参数与每个显示元素关联起来，Fortmann和Lu¨dtke (2013) 可以模拟单任务环境中对一个元素的感知的概率。在操作环境中，必须考虑情境方面，以动态地建模显示元素的值和期望。另一种方法是整合过去关于活动和注视指标的信息（如停留时间、注视频率、注视模式），表明飞行员对特定信息的兴趣，从而增加感知的概率。

2. 第二个假设是使用动态a(x)=1.0-0.2t的信息特征的线性记忆衰减，其中a是激活。我们假设，当激活量小于零时，模型就忘记了信息。

这两个假设都是进一步研究所提出的评估系统的心理模型的对象。

3.3 态势感知(SA)评估

从显示器中提取信息并模拟工作记忆动态后，飞行员的认知状态模型包含了一组显示信息特征。要根据上下文相关性对任何信息特征进行评级，需要在显示信息和操作员任务之间建立映射。这一概念与Endsley (2016)提出的SA模型是一致的，该模型将所需信息映射到操作员的决策。显示信息如何与操作员的决策相联系，在很大程度上取决于应用程序。

为了创建这个映射，我们首先进行了一个目标导向的任务分析(GDTA, Endsley(2016))来定义MUM-T操作员的所有目标和相关决策。有了这些领域知识，我们能够开发出一种计算性的模糊认知地图(FCM)，将信息特征与决策联系起来。下面描述了这两个步骤。

3.3.1 目标导向的任务分析(GDTA)

GDTA的目标是定义操作员在MUM-T期间必须做的所有目标和决策。从这些决策中，可以得到支持决策所需的所有信息。这种方法的一个缺点是，它主要是基于对主题专家(SMEs)的访谈。虽然这对已建立的技术系统是可行的，但目前还没有专家可以在飞机上进行MUM-T操作。为了克服这个问题，来自民航(Endsley, 2016)、空对空战 (Endsley, 1993) 和地面无人机控制（莱利&恩兹利，2005）的现有GDTA已经被整合到一个目标层次中。图5和图6分别显示了所执行的任务分析的顶层和底层。顶层结构包含给定MUM-T操作中飞行员的所有主要目标。通过将每个目标分解为子目标，人们就可以做出追求这些目标所必须做出的决定。这些决策与信息有关，操作员应该知道。图6显示了“遵守空域限制”的目标。飞行员通过收集有关飞机的高度、爬升率、俯仰和所需飞行水平的信息来决定校正飞机的高度。在此基础上，我们构建了下一节中提出的SA推理的计算模型。

3.3.2 模糊认知地图(FCM)

我们提出了一种计算FCM作为一种充分的知识表示和推理方法来推断从感知信息特征的SA。首先由Kosko（1986）首次提出，它结合了模糊逻辑和认知映射来表示复杂系统中的知识和因果关系。一个FCM包含由加权边连接的节点。在时间$k$时，每个节点都有一个值$Ai(k)=[0,1]$，，它描述了一个激活的概念。边权值$wij$表示两个节点之间的因果关系有多强。通过将以下更新函数应用于所有节点来执行推理：

其中，$f$表示一个激活函数，例如，sigmoid激活函数。

FCM可以应用于模型SA，这是由Jones等人(2011)提出的概念。如图7所示为一个通用的例子，其中信息节点连接到理解节点、投影节点以及决策节点。模型通过连接来编码相互关联的信息特征，从而达到更高的理解水平。需要注意的是，它并没有编码这些节点是如何连接的。基本的假设是，被观察的操作者足够熟练，能够正确地判断是否拥有所有相关信息。

我们调整了这个模型，并使用了感知模型中的信息特征作为信息节点的激活。当感知模型具有信息特征时，使用$Ai(k)=1.0$激活相应的节点。一个节点的激活会导致所有链接节点的加权激活，从而通过地图传播它。在设计FCM时，必须选择边的权值，并表示两个节点之间的因果关系。例如在图7中，“B”和“AB”之间的边比“A”和“AB”的权重更大，因此在这种情况下，“B”对理解“AB”更重要。通过这种方式，模型为映射中的每个节点计算一个值，它对应于系统中的一个上下文信息。这种与上下文信息相关的SA的具体量化在辅助的环境中是有价值的。

使用这种方法，可以对以下属性进行建模：

• 语义-信息映射：一个显示元素正在对系统的多个信息状态进行编码。例如，主飞行显示器的姿态指示器将俯仰和爬升都编码到一个显示器中

• 信息-语义映射：几个显示元素可以冗余地引用系统的一种信息状态。例如，高度指示器位于一个普通喷气式飞机的PFD和HUD中。

• 组合信息：FCM可以通过组合状态信息来建模理解和投影。将两个元素的组合到一个更高的抽象，可以通过调整边缘权值来建模，这两个输入都是在后续节点中达到充分激活所必需的。例如，战术地图上关于两个战术对象的信息可以组合为这些对象之间的距离的概念。

参考图4中GDTA和驾驶舱显示的“服从空域限制”例子，图8显示了所得到的FCM子结构。信息特征、信息状态、投影和相应的决策之间的因果关系都通过边来表示。在这里，来自PFD的显示元件被连接到喷气式飞机的系统状态上。与GDTA相关，爬升率、高度和俯仰角与决策节点“正确的高度”相连。投影节点是对系统未来状态的累积知识。只有当操作员知道爬升速度或俯仰速度并结合飞机的空速时，才能预测未来的飞行高度。

4 实验部分

在模拟实验中对所提出的认知状态评估的实现进行了评估。它是在一个实现认知设计的MUM-T驾驶舱模拟器中进行的，详见第2节。本实验的目的是验证第3节中描述的估计模型。我们评估了，该模型是否能够通过测试其对参与者在SA查询中表现的预测能力来观察到飞行员的SA的有意义的方面。

4.1 驾驶舱模拟

我们的MUM-T驾驶舱模拟，如图9所示，由一个喷气式驾驶舱和一个圆顶投影仪系统组成。参与者使用油门和操纵杆来控制飞机和三个多点触控屏幕来进行系统和任务管理。中央屏幕显示一个战术地图，可选的一个任务界面，飞行仪器和系统管理，以及无人机系统信息。侧显示器包含一个通信接口和附加的喷射系统信息。为了便于实验训练，我们简化了飞行任务，即参与者可以在训练一小时内驾驶飞机。我们集成了一个非侵入性的眼球追踪硬件和四个摄像机来估计注视的方向。

4.2 实验设计

在我们的实验中，一名参与者必须用一种由驾驶舱控制的无人机进行侦察操作。在每次实验前，他们都接受了90min的训练。根据参与者的节奏，实验持续了大约45min。在实验过程中，每个参与者必须引导一个无人机到一个区域，并在传感器流上识别一个建筑物。在此过程中，参与者必须用他们的飞机跟踪一条给定的路线，并遵守一个特定的高度限制。该行动分为四个阶段：（1）任务计划（2）导航（3）侦察和（4）自动驾驶。在每个阶段结束后，我们停止模拟，基于态势感知全球评估技术(SAGAT)进行问卷调查，其中包含6个与特定阶段相关的问题。将这些响应与冻结时模拟状态的“ground truth”进行了比较。在SAGAT期间，所有的屏幕都被涂黑了，因此参与者需要回忆所要求的信息。每个阶段之后的问题都是关于所有三个层次的任务相关信息。

关于使用冷冻探针技术来评估SA一直存在争论，因为它们的探针是其侵入性和关于其有效性的问题(Salmon et al., 2006)。然而，Endsley（2019）在一项综述中显示，在91%的研究中，SAGAT对操纵和性能评估很敏感。此外，它是最确定的测量SA的方法。为了减轻入侵的影响，我们在每个任务阶段结束时进行了SAGAT。此外，SAGAT的应用是基于GDTA，并为我们提供了具体信息的详细信息，例如了解飞机的高度，我们可以直接在FCM中建模。所以，比较FCM的预测和参与者的答案是很简单的。

我们实现了一个模糊认知地图，其节点适合于SAGAT问题的信息需求。基于眼球追踪，我们使用该模型来预测，参与者是否会正确地回答某个问题。有两种不同类型的SAGAT问题。参与者被问及有关静态信息（例如战术物体的数量）和动态状态（例如飞机的高度）。为了预测答案，我们评估了每个任务阶段后所有相关节点的状态值。
更准确地说，如果以下答案是正确的，那么一个答案就被预测为是正确的。

对于静态信息，我们选择时间$trel=[tbegin,tend]$，这是整个任务阶段的持续时间。如果操作员至少注视了一次所有相关信息，这是真的。动态信息用$trel=[tend-5s,tend]$进行分类，这意味着所有相关信息都在该阶段的最后几秒钟内被注视。

在这个阶段的最后几秒钟内都被注视着。我们有15名参与者（11名男性，4名女性），年龄在22-33岁之间。参与者没有任何飞行经验，以确保在飞行任务中难度相同。而且，他们之前也没有使用我们的模拟器的经验。所有参与者分别进行四个任务阶段，有六个问题，我们有n=15×4×6=360问题，我们可以评估参与者SA。三种显示器和HUD投影区域的平均眼动跟踪质量均为$\mu ET=1.5°$，平均标准差为$\sigma ET=0.8°$。

4.3 结果

为了评估SA评估方法的预测能力，我们将模型的预测与实际参与者的答案进行了比较。表1显示了混淆矩阵，它显示了实验的SAGAT结果以及我们的模型对正确答案的预测。

在实验中，所有问题中有304个(84.4%)回答正确，56个(16%)回答不正确。在查询的正确答案中，我们的模型正确预测了91.8%。然而，假阳性的比例很高，其中在58.9%的所有错误答案中，模型错误地预测了操作员应该知道这些信息。我们的模型的总体准确性是$Accp=.839$考虑了真阳性和真阴性，并考虑了以下公式：

以TP和TN分别为真阳性数和真阴性数，以FP和FN分别为假阴性数和假阳性数。作为模型预测能力的量化，马修斯相关系数（马修斯，1975）是MCC=.35。

4.4 讨论

该模型的预测能力中等，值得改进。在很高比例的正确答案中也很明显，SAGAT查询太容易了。更具挑战性的问题本可以提高实验中的预测性能。在数据分析过程中，我们发现了系统设计中的三个问题：

1. 大量的假阳性表明，通过过滤固定和信息的线性衰减来对感知和工作记忆进行建模可能是不够的。在这里，需要一个更详细的感知模型来减少对态势感知的假阳性预测的数量。
2. 信息的不确定性被证明是一个重要的方面，因为存在具有静态性质的信息，如建筑位置，以及动态状态信息，如海拔高度。有趣的是，当积累多个信息时，静态和动态的性质会发生变化。建筑位置是静态的，但与移动飞机位置的相对距离是动态信息。这种可变性目前在我们的模型中被忽略了，但在集成偏差识别时将得到改进。
3. 假阴性很可能是由于眼球追踪的不准确造成的。如果注视估计稍微位于显示元素旁边，则在我们的系统设置中无法提取正确的信息特征。我们目前正在研究在测量的注视位置周围收集信息特征的方法，以提高特征提取的鲁棒性。

我们还遇到了几个情况，其中所提出的模型识别出了导致操作员错误的情况。例如，两个参与者没有获得一个完整的战术图片，并引导他们的UCAV到一个错误的点，因为他们没有意识到正确的点。这是由该模型预测的，也可以用于干预。即使具有中等的预测能力，这些信息在援助系统中也是有价值的。

5.结论

本研究的第一部分回顾了AAS的概念和将操作员状态整合到其行为中。我们描述了一种用于军事空中环境中MUM-T应用的AAS的概念方法和功能设计。作为这个设计的一部分，我们展示了行为规则的定义可以支持需求和AAS的设计。

作为实现这一概念的一步，我们在本研究的第二部分展示了一种新的操作员SA的认知状态估计。SA可以通过结合眼球跟踪的实时分析和基于任务分析的领域模型来估计。我们进行了一项实验，旨在评估认知状态模型的预测性能。第一个实验显示，由于感知的建模问题（例如，看但看不见的现象）和眼球追踪的不准确性，显示了适度的预测性能。为了提高预测性能，基于概率的注视估计可以提高眼球跟踪和信息特征提取的鲁棒性。此外，对眼球追踪模式或更好的注意模块的分析也可以提高感知检测率。这些方面将是未来研究活动的对象。

在实验过程中，也存在着参与者无法识别重要信息的情况。我们的模型能够部分识别这些情况，而通知也可以提高参与者的表现。因此，给定对SA的稳健估计，该系统应该能够减少SA的差距和偏差，从而减轻自动化引起的问题。我们继续开发所描述的AAS，它作用于所提出的认知状态评估。在未来，我们将评估不同的指导操作员注意力和增加SA的策略。