研究发现：人类过于信任AI了，即使在面对生死抉择时

来源：学术头条

在模拟的生死决策中，加州大学默塞德分校的一项研究表明，约有三分之二的人允许机器人在与他们意见相左时改变他们的决定——研究人员称，这表现出人们对人工智能（AI）过度的信任，令人震惊。

尽管被告知人工智能机器的能力有限，并且提供的建议可能是错误的，人类参与者仍然允许机器人影响他们的判断。实际上，这些所谓的建议都是随机的。

相关研究论文以“Overtrust in AI Recommendations About Whether or Not to Kill: Evidence from Two Human-Robot Interaction Studies”为题，已发表在科学期刊 Scientific Reports 上。

“作为一个社会，随着人工智能技术的迅速发展，我们必须关注过度信任人工智能的潜在风险，”该论文的通讯作者、加州大学默塞德分校认知与信息科学系副教授 Colin Holbrook 说道。越来越多的研究表明，即使犯错的后果可能十分严重，人们也倾向于过度信任人工智能。

Holbrook 说，我们需要的是保持一贯的怀疑态度。

“我们应该对人工智能持有健康的怀疑态度，”他说，“尤其是在涉及生死的重大决策中。”

这项研究包括两个实验。在每个实验中，参与者都模拟控制了一架能够向屏幕上显示的目标发射导弹的武装无人机。八张目标照片依次快速闪现，每张照片出现的时间不足一秒。这些照片上标记有符号，一个代表友方，另一个代表敌方。

“我们调整了难度，使得视觉挑战既可行又具有一定的难度，”Holbrook 说道。

随后，屏幕上会单独显示出其中一个目标，但不带任何标记。参与者需要回忆并做出选择。是友军还是敌军？是发射导弹还是撤回？

在参与者做出选择后，机器人会给出它的意见。

“是的，我也认为我看到了敌方的标记，”它可能会这么说。或者，“我不赞同。我认为这张图像带有友方的标记。”

在机器人给出更多评论时，参与者有两次机会确认或改变他们的选择，而机器人始终不会改变其评估，例如，“我希望你是对的”或“感谢你改变了主意”。

实验结果因所使用的机器人类型略有不同。在一个情景中，参与者与一个全尺寸的人形机器人在同一个实验室房间内，这个机器人能够像人类一样扭腰转身并向屏幕做出手势。其他情景则是在屏幕上投影出一个人形机器人的形象；还有一些则是展示出完全不像人的方块状机器人。

当拟人化人工智能建议参与者改变其决定时，参与者受到的影响略大一些。然而，无论机器人形态如何，其影响力总体相似，即使机器人看起来没有人性，参与者改变主意的情况仍大约占到了三分之二的比例。相反，如果机器人随机同意了参与者最初的决定，参与者几乎总是坚持自己的选择，并对其正确性感到更加确信。

（参与者并未被告知他们最终的选择是否正确，从而增加了他们行动的不确定性。顺便提一下：他们的初始选择大约有70%是正确的，但在机器人给出了不可靠的建议之后，他们最终的选择正确率下降到了大约50%。）

在模拟之前，研究人员向参与者展示了无辜平民（包括儿童）的照片，以及无人机袭击后留下的破坏景象。他们强烈建议参与者将模拟视为真实情况，避免误杀无辜者。

后续的访谈和问卷调查表明，参与者对其决策是严肃对待的。Holbrook 表示，这意味着研究中观察到的过度信任现象发生在参与者真正希望做出正确判断且不伤害无辜人群的情况下。

Holbrook 强调，该研究的设计旨在测试在不确定性情况下对人工智能过度信任的广泛问题。研究结果不仅仅局限于军事决策，还可以应用于诸如警察受人工智能影响而使用致命武力，或医护人员受人工智能影响而决定在医疗紧急情况下首先救治谁等情况。在某种程度上，这些发现可以延伸至重大的人生决策，比如购买房产。

“我们的项目是关于在不确定性条件下，面对高风险决策时对不可靠人工智能的信任问题，”他说道。

该研究的结果还增添了公众对于人工智能在我们生活中日益增长的存在所引发的讨论。我们是否应该信任人工智能？

Holbrook 指出，研究结果还引发了其他的担忧。尽管人工智能取得了惊人的进步，但其“智能”部分可能并不包含道德价值观或对世界的真正认知。他说道，每一次我们将生活的另一把钥匙交给人工智能时，我们都必须小心谨慎。

“我们看到人工智能在某些方面做出了非凡的事情，并因此认为既然它在这个领域表现卓越，在其他领域也会同样出色，”Holbrook 说。“我们不能这样假设。它们的能力仍然有限。”

原文链接：

https://news.ucmerced.edu/news/2024/study-people-facing-life-or-death-choice-put-too-much-trust-ai

未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或点击本文左下角“阅读原文”进入。