从“自动化”到“自主化”:人机交互中信任修复的重要性

王小凤 金潇阳 翻译

现代与技术的互动越来越多地从人类仅仅把计算机作为工具向人和有自主性的智能体建立联系，让自主性智能体代替人作出行动转变。在最近的一篇评论中，彼得·汉考克向人因工程领域发出了一个严峻的警告，即必须关注一类新技术的适当设计：高度自主的系统。在本文中，我们注意到了这一警告，并提出了一种以人为中心的方法，旨在确保未来的人与人之间的自主交互仍然集中在用户的需求和偏好上。通过编辑来自工业心理学的文献，我们提出了一个框架，将一种独特的类似人类的能力注入自主系统，建立并积极修复信任机制。最后，我们提出了一个模型来指导未来自主系统的设计，并提出了一个研究议程来探索当前在修复人类和自主系统之间的信任方面的挑战。

[业者总结]

该论文呼吁从业者将我们与技术的联系重新塑造成类似于两个人之间的关系，而不是一个人和他们的工具之间的关系。为此，设计具有信任修复能力的自主将确保未来的技术维护和修复与人类伙伴的关系。

[关键词]

信任修复；自主权；自动化；人性；人机合作

1.0 简介

在最近的一篇评论中，彼得·汉考克向人因工程领域发出了一个严肃的警告，即必须关注一类新技术的适当设计：高度自主的系统。在那次警告中，他认为，随着更多独立、自主的系统的引入，社会正处于重大变革之中，这些系统似乎与传统的自动化不同。他进一步认为，虽然这些新系统的开发正由从业者以极快的速度进行，但对心理和人为因素影响的研究可能被忽视。在这篇文章中，我们注意到了这个警告，并提出了一个以人为中心的方法，旨在为这些未来系统的设计者提供指导。最后，为了进一步讨论这些新的自主系统。

1.1 自动化和自主的新形式重新定义了我们与技术的关系

现代与技术的互动越来越多地从简单的人类使用计算机作为工具转向与自主实体建立人类关系。与代替用户执行一组有限的预编程监督任务的传统自动化系统相比，自主性是设计用于实现用户目标的技术(硬件或软件)，但不需要监督。这种高度自治技术的最新例子是Stuxnet病毒及其独立规划然后自动在互联网上传播的能力(Kushner，2013年)或Mirai未来组合僵尸网络，它们执行了迄今为止最复杂的分布式拒绝服务攻击(Graff，2017年)。同样重要的是，要考虑到高度自主的系统被计划尽早融入我们的日常生活。例如，空军最高层的人员一直在讨论一项名为“忠诚的僚机”的倡议，该倡议涉及与有人驾驶飞机一起飞行的自主无人飞机(例如，(格尼，2013；汉弗莱斯，科布，雅克，&雷格，2015)。此外，“无人自动驾驶”汽车已经开始在我们的社会中传播，像谷歌(布朗，2011)这样的公司开始测试无人自动驾驶汽车，以及在瑞士和芬兰测试的原型自动公共交通模式(如公共汽车)(迈耶，贝克尔，博施，阿克豪森，2017；罗默、琼斯、马里诺、海兰、索思伍德，2017；Salonen，2018)。鉴于此，我们开始研究与使用自主系统相关的问题是至关重要的。

具有自主性的系统特点是它们能够随着时间的推移进行学习和改变，动态地设定自己的目标，以及能够通过外部传感器信息或更新的输入数据适应环境条件。设计者可能主导这种系统的启动状态和参数，但是一旦部署，自主性将随着在不同环境中的使用而演化。这意味着这项技术有可能以意想不到的方式发展(库兹韦尔，2005)。由于这些系统的潜在不可预测性，自主性比较简单的自动化系统更有可能让人类伙伴感到惊讶(Sarter & Woods，1997)，这有可能极大地影响对这种技术的信任和采用。此外，因为自主系统不太像工具，而更像助手或合作者，他们可能会因为他们的独立性而花更多的时间与我们在一起，这将导致与这项技术的长期关系。例如，虽然亚马逊Echo、Alexa或Siri等新的永远在线、永远接近的虚拟助理类别尚未达到完全自主系统的水平，但它们被设计为永久驻留在我们的家中或留在身体上。最后，这些虚拟助手被设计为随着时间的推移学习我们的行为和偏好，从环境中收集上下文信息(例如，位置)，并从我们不断更新的用户简档中学习。由于这些能力更强的系统，我们对这些技术的依恋和动机可能会变得更深、更亲密(de Visser，Monfort，et al .，2017；Szalma，2014；威斯、肖、洛法罗和鲍德温，2017)。由于前面提到的自动化和自主系统之间的一些差异，我们认为有必要采用一种完全不同的方法来增强人机交互；一个自主系统和人类之间的关系不断变化的地方，反映了自主本身和人类感知的适应性。相反，人-自主互动的范式应该模仿人与人之间关系的丰富互动，应该采用人-人模型作为它们的初始标准；自主性应该能够利用现存的人类能力来检测来自他人的偶然信息。考虑到这一点，并受到人机交互模型的启发，我们建议未来的自主设计应该从社会科学中获得线索。尽管我们认为这是一种谨慎的通用方法，用于实现自主的新设计方法，在这篇文章中，我们将重点放在一个特定的人际关系特征上，我们认为这种特征有利于人际自主关系。为此，我们概述了一种可能的机制，作为健康关系的一个基本方面：信任修复。具体来说，我们建议研究人员必须1)将他们对人类自主系统的观点重新定位为超越简单的“互动”，而更多地是“关系”，2)进一步将人类关系研究的应用扩展到人类自主(马德哈万和威格曼，2004，2007a)。

1.2 进一步区分自动化和自治

虽然我们同意汉考克对自动化和自主性之间差异的初步观察(2017年)，但我们基于这一想法，使这种差异更加清晰，并将这种差异的含义纳入未来的研究议程。为了对自主系统的设计提出建议，以优化人与自主的互动，我们概述了一个框架，该框架将先前定义的自主概念与新的人性化设计概念并列，灵感来自社会心理学构造(哈斯拉姆，2006；哈斯拉姆，贝恩，道格，李和巴斯蒂安，2005)。我们将人性化设计定义为旨在与人联系和交流的任何策略、机制和自主特征。我们的人性概念是有意宽泛的，其定义只是为了捕捉与他人联系和交流的设计意图，但我们的概念包含了哈斯拉姆(2006)的两种人性意识，包括1)独特的人类特征；使我们区别于其他生物的人类特征(即文明、文雅、道德情感、理性、成熟)，以及2)人性；代表人类本质的人类特征(即情绪反应、人际温暖、认知开放性、能动性、深度)。可以说，任何自主设计都至少需要一些人性化(即接受用户输入的机制)，但这个轴上的更高层次接近人类的外观、情感、行为和能力。

图1 现有的和虚构的代理人的概念表示，以自治和人性化设计的程度绘制

图1展示了我们如何在现有的自治系统定义的基础上进行构建。该图示出了相对于人的设计(即，设计用于与人连接和交流的特征、策略和机制)的自主水平(即，无监督行动的能力)的概念表示空间。利用这两个维度，我们创建了四个不同的象限，代表了看似不同的机器质量类别。左下象限代表当前或不久的将来，以及虚构的表示，意在代表自治系统的范例。例如，设计用来玩策略游戏的机器，如围棋或象棋(AlphaGo，DeepBlue)，代表了中等程度的自治，因为这些系统朝着一个目标运行，如赢得游戏，并且不需要监督。然而，这些形式的自主性在人性化方面非常有限，因为它们不是明确设计来与用户直接通信或交互的；这些机器只是为一个特殊目的而设计的算法。在同一象限内的是目前的机器人宠物，如艾博或帕罗，它们被明确设计为与人类互动和交流，但几乎没有或没有自主权，可能有一个分散的目标或没有目标，除了为人类提供娱乐、陪伴或舒适。更高层次的自主性或人性化设计大多由虚构的例子来代表。因此，象限内的相对位置是近似的，并且基于它们在电影中的描绘。因此，图中的小距离不应理解为精确。

高度自主但适度的人性化(左上象限)代表了工具，这些工具可以自行实现目标，但与操作员的沟通不是主要关注点，因此他们的沟通能力有限(例如，基本的输入和输出模式)。也许最经典的例子是超智能的人工智能天网，它在终结者电影系列中是高度自治的(即，它有自己的自我保护目标，并自主地按照这些目标行事)，但对于直接的人类通信能力或考虑有限。高度的人性化，但适度的自主性(右下)代表了明确设计用于与人类交流和互动的机器，因此它们可能具有高度发达的输入和输出模式(自然声音、手势交流、幽默或态度)或使用旨在与人类融合的外观线索(拟人化外观)。然而，他们可能几乎没有能力产生或实现自己的目标，或者除了提供陪伴之外没有其他目标。具有高度人性化和高度自主性的技术(右上象限)代表了有自己意图和目标的机器，并且在几乎没有人监督的情况下运行。

该框架既捕捉了当前的技术，也捕捉了预期的虚构技术。从这个概念框架中，可以得出几个结论。

1. 如果设计需要与人类用户的联系和沟通，就需要增加人性化。我们认为，随着复杂性的增加和用户之间潜在的不匹配，人性化的设计是必要的人工智能的感知和能力(塞米格兰、莱文、努迪和梅罗特拉，2016)。

人性化将成为必要的界面特征，因为我们相信它代表了一种传达复杂自主行为的最佳(高带宽、低资源要求)方式(如面部表情；(切尔诺夫，1973；Nass &Lee，2001；Nelson，2007；Semigran等人，2016年)。

2.  将人性化纳入设计可能是一个平衡因素，以防止不良

自主。为了创造一个平衡的自主道路，我们提倡在早期就融入人性的自主。我们认为技术应该为人类世界而创造。没有人性的自主会创造出强大的机器，但这些机器会与人性脱节(最少的是出圈现象)。没有自主性的人类创造了和谐的社会机器，但这些机器相当于我们以前的工具。这两个设计方面的结合可以有效地提高自主性(Waytz，Heifner & Epley，2014)。

3.平衡自治——人性可能代表不友好实体控制人性的一种方式

自主系统的目标和意图必须对用户透明。微妙的意外和不希望的影响的例子是算法中的偏见(脸谱网、亚马逊、谷歌)和一家公司将其商业目标强加给用户，如赌博(丽娃、萨基和布兰比拉，2015年)。

对于前面提到的自动化系统和表现出自主性的系统之间的所有差异，前面确定的自动化问题(例如，跳出循环综合征、模式意识、自满、信任)预计不仅存在，而且会被放大，这种现象被称为伐木工人效应(Onnasch，Wickens，李，& Manzey，2014)。此外，我们期望一类新的问题是自主系统所独有的；这些都是由这些系统的独立性带来的，也是由它们与用户交互的方式带来的。例如，虽然传统的自动