11、决策支持系统中实现有意义人类控制的反思性混合智能

决策支持系统中实现有意义人类控制的反思性混合智能

引言

在大众媒体中，人工智能（AI）系统能够在大多数任务上超越并取代人类的说法越来越多。比如，语言生成器能写出连贯的文章，自动驾驶汽车能提升道路安全性。然而，这些说法忽视了AI系统在正确识别、评估和契合人类固有概念（如道德价值观、社会规范、情感和创造力）方面的局限性。若坚持用机器取代人类，未来可能会严重侵犯基本人权，危及民主，加剧政治两极分化，出现操纵和虚假信息等问题。

自主性是讨论的核心概念。从道德和政治哲学角度看，自主性强调个人的自我治理能力；从技术角度看，自主性指人工智能体在无需人类指导的情况下独立运行的能力。我们从混合（人类与AI）系统的视角看待自主性，即人类智力由人工智能体增强而非取代。要实现这一点，有意义的人类控制至关重要。

一个重要问题是：人类如何对设计为自主运行的AI系统保持控制？我们认为，必须从社会技术视角来考虑自主性概念，不仅要关注人类和AI智能体的功能，还要关注其认知、社会和道德（无）能力，以使AI智能体成为人类相互依存的队友，从而实现有意义的人类控制。

考虑到有意义人类控制的追踪和追溯条件，AI智能体需要跟踪道德原因，即监测并适应动态环境中的新情况。但追溯道德原因需要人类对系统行为有道德理解，因此智能体不应独立执行此类任务。在意外和道德挑战的情况下，人类应进行适当的道德反思以找到可接受的解决方案。这就需要某种形式的反思性混合智能（RHI）。

反思这一主题在计算机科学和哲学等多个领域都有讨论。从计算机科学角度，自我反思通常指系统持续监测和改进自身行为的能力；从伦理角度，（自我）反思的目标是在各种行动选项中做出合理选择。在本文中，我们考虑混合（人类 + AI）对一组道德价