认知一致性和透明性

在这里，我们将讨论有助于增进人与系统协同可信赖性的两个重要因素，即认知一敖性和认知透明度。认知一致性是指自主系统和人类在其潜在的认知表征和认知过程中具有一致性的程度。它是某一个体内部的认知（或心理）一致性概念以及当该个体必须半理认知失调时出现的问题延伸（Festinger, 1957 年）。缺乏认知一致性会影响人类对自主系统理解当时态势并采取行动所做的共同意义建构（即意义生成）以及随后的信任。这种方式类似于人类在相似态势下的行为。认知透明度指的是即使没有多少认知一致性，自主系统所采取的推理和行动对人类而言仍然是可以理解和明显的。透明度为人类提供了一种跟踪和验证自主系统所做评估和推理的“审计轨迹”手段，并且即使自主系统解决问题的方法与人类方法不同，也将有助于建立信任。我们现在从一致性的主题开始，接下来是透明度。

1、认知一致性

自主系统与人类认知表征之间的一致程度会影响共同的意义建构。这之所以重要是因为在许多应用中，自主系统和人类可能需要对某个态势达成共识，也就是说，面对相同的对象、事件或态势做出相同的理解，从而确保团队的成功。iRobot 公司的创始人布鲁克斯（ Brooks ）列举了许多值得关注的示例，当面对同样的交通情况时，由于人与机器之间缺乏认知一致性，无人驾驶汽车和人类驾驶员／行人之间可能会发生人与机器之间的误解：

如果一辆半自主汽车没有按照不成文规则行驶，旁观者们可能会责怪使用汽车的人。但如采汽车完全自主行驶，他们就不会这样选择。所以在这种情况下，他们会责怪汽车。（布鲁克斯， 2017 年）

因此，如果我们要提供一致性，那么理解意义建构就至关重要了。

许多研究表明，人类的认知力图表述世界上各种对象、事件和态势的意义（Klein,1998年；Patterson，2012年）意义建构可以概念化为符号解释，被称为符号学（Hoopes,1991 年； Peirce,1960年）。某个对象、事件或态势的意义在于其被某个个体解释为表示其他（ 确定的）对象、事件或态势的符号。从某种意义上说，通过符号解释来构建意义包含了许多关系（Bains,2006年），即符号与其表示的对象或事件之间的关系。人类非常擅长通过符号解释来构建意义(Patterson 和Eggleston,2017年）。

现实世界中的意义建构可能包含多个语言符号系统。例如，在这样的系统中，人类语言可以通过使用协同技术，成为自主系统内部呈现物质世界以及感知和行动的基础（Chai等人，2016年）。然而，现实世界中的意义建构也包含多个非语言符号系统。总体而言，环境景观、声音、气味等可以作为态势模式（符号），对其进行识别可以表示某些结果。例如，早上通勤期间交通堵塞的含义，在解释为一个符号后，将表示此人将会上班迟到。

意义建构也可以概念化为框架（ Minsky，1975年）。框架是一些被记忆的数据结构，呈现多个适应了某个特定现实情况的模式化态势。一个框架的较高层级表示背景（对于指定态势始终为真的事物），较低层级表示由特定数据实例化的终端。脚本和计划等概念是基于框架制定的（ Schank 和Abelson, 1977 年）。在意义建构过程中，各框架可能有助于定义相关数据，而数据可以推动对现有框架做出改变（ Klein 等人， 2006 年）。

符号解释和各种框架可以看作是意义建构的补充方法。由某一个体根据一个表示某种结果的符号为某一对象、事件或态势设定意义将取决于背景或框架。或者，这个背景或框架可以帮助确定哪些对象、事件或态势被解释为符号以及这些符号表示的内容；在前面的示例中，交通堵塞在早上通勤的背景或框架下的意义将被解释为表示工作迟到的符号。如果框架不同（例如，在前往吃晚餐或看电影的途中），该标志仍然表示迟到，但它是针对一个不同事件的迟到，这将取决于指定的框架。

为了使自主系统与人类有效地协同，自主系统和人类的动作需要在一个通用框架内生成（即，在任何指定时刻识别同一背景）。这就是我们所说的自主系统与人类之间的一致性认知表征。一个通用框架将为自主系统和人类提供多种交互方式：

●自主系统和人类可以将同一对象、事件和态势解释为表示同一结果的同一符号。

●自主系统和人类可以将不同但相关的对象、事件或态势解释-为表示同一结果的同一符号。

●自主系统和人类可以将不同（和不相关）的对象、事件或态势解释为表示不同结果的不同符号（仍然在同一框架中），然后必须解决这种互相冲突的态势。

一般而言，自主系统和人类可能需要对常见或相关的对象、事件或态势生成相同的意义；要做到这一点，自主系统和人类的推理和行动必须在同一框架或背景下产生——他们必须具有认知一致性。这里存在的挑战就是要在在恰当的抽象层次上进行定义，以及使用适当的要素来明确定义什么是框架或背景以及它如何在自主系统和人类之间通用。

2、认知透明度

认知透明度还会影响在使用自动化系统和与自主系统合作过程中的可信赖性。信任可以通过设计自主系统来获取，这样这个系统的推理过程——从感知到目标生成到行动选择——就可通过理解其如何工作〈透明度）以及跟踪其做出的任何决策（可追溯性）的能力来实现。当透明度不存在时，人类不仅无法理解自主系统在评估或决策背后的推理，而且也可能将各种能力归因于不具备这些能力的自主系统。[1]早在20 世纪60 年代便发生过这种情况。当时，魏岑鲍姆（ Weizenbaum ）通过伊丽莎白（ELIZA）程序模拟一位精神分析师，使用了基于简单模式匹配和替换的非常浅显的自然语言处理程序，但这瞒过了许多与该程序交互的“患者”（Weizen-baum,1966年）。现如今，这在开发与人类外观和行为相似的拟人机器人群体中引发了一些问题：它们可能促进人机交互（ Duffy, 2003 年），但它们也可能阻碍透明度和对其局限性的理解（Zlotowski等人，2015年）。Walsh(2016年）甚至提出了“图灵红旗法则”：

应该设计这样一种自主系统，除了是一种自主系统外，它不可能被误认为是任何东西，并且应该在与另一个智能体开始任何交互时识别它自己。(Walsh，2016年）

如果未来系统的设计人员能够遵循这一指导原则那么总体而言，如何抵消人类把动物和非生命体代智能体拟人化的趋势还有待观察。

这把我们带回到了透明度这一问题。目前的研究支持这样一种观点，即人类越准确地理解自主系统的决策过程．就越会信任它们。与空军F-16战斗机使用的自动地面防撞系统（Auto-GCAS）相关的最新研究也支持这－观点（Lyons 等人，2016b）。例如，Dzindolet等人（ 2003 年〉所描述的人工解释已经有效地实现了透明度。出于道德原因，可追溯性也得到了支持，微软首席执行官萨蒂亚内德拉（SatyaNadella）发表的《为道德的人工智能制定的10 条规则》中便有这项描述（Reese, 2016 年）。国防高级研究计划局还通过其“可解释的人工智能（XAI）计划”强调这一领域；该计划专注于可解释的模型、界面和解释心理学（ Gunning, 2016 年）。

一些作者认为，设计透明度和可追溯性来改善人类与自主系统之间的信任可能带来并非最优的结果。诺维格（ Norvig ）做出这番评论是因为这种设计与概率模型的成功有关，该模型由语言建模的统计方法发展而来（ Norvig, 2016 年）。同样， LeCun 最近表示，在大多数情况下这种设计并不重要：“你的出租车司机的可解释能力有多重要？[2]" (LeCun, 2016 年）。LeCun的声明表明，机器的可解释性可能并不重要，至少在某些应用中如此。然而，在许多应用中，决策解释、理解和纠正决策过程的能力，而不是最优性才是主要的激励因素。

在早期采用的各种自主系统中，信任将是让人们使用该系统的关键问题。建立具有透明度的系统可能会改善早期应用效果。必须注意要使这些系统看起来不会与人类太过相像（透明度太高），否则用户可能会高估系统的能力。随着这一领域的研究不断发展，将会出现可信赖性显著提高的情况，并且会产生最佳解决方案，使其对作战人员更有价值。