并非所有信息都是等价的：

并非所有信息都是等价的：在人类自动化团队中披露不同类型的可能性信息对信任、服从性和依赖性以及任务绩效的影响

 

目的：研究研究了披露不同类型的可能性信息对人类操作员对自动化的信任、依从性和依赖行为以及人类自动化团队绩效的影响。

背景：为了促进对自动化的适当信任和依赖，人们以明确地传达自动化系统成功的可能性作为一个解决方案。现在已经证实，以自动化可靠性、确定性和置信度的形式来揭示可能性信息拥有潜在的好处。然而，这些研究的结果十分复杂。

方法：我们对60名参与者进行了一项模拟监控任务的“人在回路中”的实验。每个参与者在一个不完善的自动威胁检测器的帮助下执行一个补偿跟踪任务和一个威胁检测任务。我们设置了三种类型的可能性信息：总体正确率、预测精准度、命中率和正确拒绝率。度量值为参与者对自动化系统的遵从性和依赖行为以及任务绩效的信任程度。

结果：当人类操作员被告知预测精确度或总体正确率，而不是命中率和正确拒绝率时，可以更恰当地依赖于决策辅助，并获得更高的任务分数。

结论：并非所有的可能性信息对人机团队绩效的帮助上都是相等的。应该避免直接显示自动决策辅助的命中率和正确拒绝率。

应用：研究结果可用于自动辅助决策系统的设计。

关键词：人机交互，对自动化的信任，可能性警报，贝叶斯推理，基础谬误率

 

1.    介绍

自动化辅助决策工具已广泛应用于军事行动、医疗诊断、运输安全管理局(TSA)等领域。随着自动化系统在感知、计划、学习和操作执行方面变得更加强大，它有望显著地提高人工自动化团队的性能。然而，当人类代理人对自动化给予不合理的信任和依赖时，或者当他们没有表现出足够的信任和依赖时，就会出现问题。

为了促进人对自动化系统适当的信任和依赖，有人提出了要明确地显示自动化系统正确的可能性。实证研究调查了以自动化可靠性、确定性和置信度的形式来显示可能性信息的潜在好处。在现有的研究中，很少有基于特定计算算法的，例如McGuirl和Sarter的研究中使用的神经网络。不足为奇的是，为了对自动化的性能进行建模，现有的大多数研究都使用了信号检测理论，并以此为基础计算似然信息。然而，这些研究的结果似乎并不一致。一些研究表明，可能性信息可以极大地帮助人类操作人员校准他们的信任度，调整其服从性和依赖性行为，并增强人类自动化团队的绩效。然而还有一些研究报告说，即使展示了可能性信息，人类操作员也不信任或依赖自动化的决策辅助工具。对现有文献的仔细检查表明，使用不同的方法来计算可能性信息，可能会导致结果的不同。

SDT对信号与噪声之间的关系以及自动化检测噪声中信号的能力进行建模。客观真实的状态有“信号存在”或“信号不存在”两种情况，自动化系统可能会正确识别，也可能无法正确识别。客观真实的状态和自动化检测的结合会导致四种可能的状态：命中，未命中，错误警报（FA）和正确拒绝（CR；请参见图1）。

基于SDT的框架，自动化系统所给出的可能性信息的计算大致可分为三类。第一类是自动化系统的总体正确率，而不管报准率或正确拒绝率如何。例如，Dzindolet，Pierce，Beck和Dawe研究了自动辅助决策工具所犯错误的数量如何影响自动辅助工具的感知性能和依赖性。在他们的研究中，参与者观看了200张幻灯片，这些幻灯片展现了军事地形，参与者在自动辅助决策或人工辅助决策的帮助下，指出是否有穿着迷彩服的士兵出现在幻灯片中。在200次试验后，一半的参与者被告知了辅助决策系统的可靠性(错误总数)，另一半则没有。然后，参与者对辅助决策的表现进行评分，并在从过去200个试验中随机选择的10个试验中指出，在目标检测任务中是否依赖于辅助决策。结果表明，这两种决策辅助工具的可靠性都得到了更好的评价。最近，Walliser等人进行了一项研究，参与者与四架使用自动目标识别系统识别敌人或友军目标的无人机进行交互。结果表明，当参与者被告知总体正确率信息(文中的“正确识别率”)时，参与者在与自动化交互时倾向于使用更合适的策略，从而获得更好的任务性能。

第二类可能性信息是预测精确度，计算方法为Hits/(Hits/+FAs)或CRs/(Misses+CRs)。正样本精准度表示信号真实存在时自动化系统给出正确警报的概率。负样本精准度表示没有信号存在时自动化系统没有给出警报的概率。沿着这条研究路线，Wang等人使用战斗识别(CID)任务检验了对人类操作员的信念、信任和依赖呈与正预测值的影响。在这项研究中，参与者通过一个不完美的CID来区分朋友和敌人。更具体地说，由于它的工作机制，一旦CID识别出一个士兵是友好的，它总是正确的。然而，当CID将一名士兵识别为“未知”时，该士兵可能是“友好”、“敌对”或“中立”的。“一半的参与者被告知正样本预测的精确度，另一半则没有。他们的研究结果表明，向用户披露正样本精度对信任和依赖有正向影响。在后续研究中，Neyedli、Hollands和Jamieson开发了四种视觉显示器，用于显示CID任务的预测值。实验中对似然信息的显示类型(pie, random mesh)和显示接近度(integrated, separated)进行了处理。结果表明，参与者对自动化的依赖程度更高，对集成显示和随机网格显示的敏感度更高。对似然报警的研究也揭示了揭示预测值的影响。与传统的二值化报警不同，可能性报警是通过将一个状态划分为两个或两个以上的等级来综合状态信息和似然信息。例如“warning”和“caution”都可以表示目标的存在，而“warning”表示可能性更高。虽然没有明确说明，但这些研究操纵了正样本预测值和负样本预测值，以表示在给定自动化响应的情况下，真阳性和真阴性的各种可能性，这表明，人类对可能性更高的警报表