负责任的生成式AI：设计基于基础模型智体的参考架构

24年4月来自澳大利亚科学局 CSIRO Data61的论文“Towards Responsible Generative AI: A Reference Architecture For Designing Foundation Model Based Agents”。

基础模型，例如大语言模型 (LLM)，因其能够理解和生成内容（包括具有推理能力的规划）而被广泛认为是变革性的 AI 技术。基于基础模型智体的自主性，源自基础模型的功能，这使它们能够自主地将给定目标分解为一组可管理的任务并协调任务执行以实现目标。尽管在构建基于基础模型智体方面付出了巨大努力，但尚未系统地探索智体的架构设计。此外，虽然使用智体进行规划和执行具有显着的好处，但对于负责任的 AI 相关软件质量属性（例如安全性和问责制），仍需要认真考虑。因此，本文提出一种面向模式的参考架构，可在设计基于基础模型智体时作为指导。

基础模型 (FM) [1]经过大量数据的预训练，可以适应执行各种任务并显着提高生产力。人们已经付出了巨大的努力来利用 FM 的类人推理能力来完成各种下游任务，例如问答和信息摘要。然而，必须承认 FM 表现出固有的局限性，特别是在面对复杂任务时。用户需要在每个单独的步骤中提供提示，这可能效率低下且容易出错。

最近，人们对开发基于 FM 的自主智体 [2, 3] 的兴趣迅速增长，例如 Auto-GPT 和 BabyAGI。使用自主智体，用户只需提供高级目标，而不是提供明确的分步说明。

在设计基于 FM 智体时，负责任的 AI 面临着重大挑战 [4, 5]。首先，自主性是基于 FM 智体实现的一项核心功能。这些智体可以从多模态上下文信息中显式或隐式地推断人类的意图和目标，生成规划，使用外部工具/系统，与其他智体合作，甚至可以创建新的工具和智体。在这种情况下，智体采取的行动责任可能由智体所有者、FM 提供商和各种外部工具/智体提供商共同承担。第二，实现问责制需要有底层的可追溯性支持机制。第三，人类为智体设定的目标或指令，以及输出和行为，包括与外部工具和其他智体的交互，必须是值得信赖和负责任的。
如图提供基于智体生态系统的架构概览。用户定义智体要实现的高级目标。智体可分为两种类型 [9–11]：作为协调员和作为工作者。协调者角色的智体主要制定高级策略，并通过将任务执行职责委托给其他智体、外部工具或非智体系统来协调任务的执行。另一方面，工作者角色的智体需要制定策略并根据这些策略执行特定任务。为了完成这些任务，工作者角色的智体可能需要与其他智体合作或竞争，或者调用外部工具或非智体 AI/非 AI 系统。

[外链图片转存中…(img-3Ng25w30-1722182731499)]

如图说明基于 FM 智体的参考架构：

[外链图片转存中…(img-0OfrQ9K1-1722182731502)]

交互工程

交互工程包括两个部分：上下文工程和提示/响应工程。上下文工程旨在收集和构建智体运行的上下文，以了解用户的目标 [12]，而提示/响应工程负责生成提示/响应，使基于 FM 智体能够成功实现人类的目标。有两种模式可用于理解和塑造目标：被动目标创建者和主动目标创建者。被动目标创建者分析用户通过对话界面提交的文本提示中描述的明确目标 [13, 14]。相反，主动目标创建者超越了明确的用户文本提示，通过理解相关工具的用户界面 (UI) 和人机交互来预测用户的目标 [15]。

在多智体环境中，主动目标创建者还可以预测其他智体的决策并主动制定规划 [17]。被动目标创建者和主动目标创建者都需要考虑用户或其他智体通过角色创建者创建的角色 [18, 19]。角色可以包括角色、沟通风格、专业能力、限制边界等。一旦用户确认目标，提示/响应生成器就会自动生成具有约束和规范的提示/响应，定义与最终目标一致的所需输入或输出内容和格式。提示或响应模板通常用作提示/响应生成器中的工厂，从模板创建提示或响应实例 [20, 21]。

记忆

智体的记忆存储当前上下文信息以及随着时间的推移而积累的历史数据和知识，以指导规划和行动。记忆由短期记忆和长期记忆构成。
短期记忆是指 FM 上下文窗口内的信息，这些信息是上下文中的，FM 可以在推理过程中访问这些信息。存储在短期记忆中的信息包括配置、最近事件和工作上下文 [20, 22–24]。配置包括智体的角色、能力、约束、功能描述等。事件包括用户交互（例如提示、点击）、系统消息和最近发生的其他事件。工作上下文是指智体当前正在处理的任务或任务集的状态。短期记忆的长度受 FM 上下文窗口长度的限制，即 FM 在生成响应时可以作为输入的文本长度。

为了提高记忆的存储容量，长期记忆是指在 FM 上下文窗口之外保存的信息。这种长期记忆存储两种类型的信息 [22, 23]：处理事件的整个历史，以及知识和过去的经验（例如，观察、想法、行为）。为了让 FM 处理这些信息，必须通过记忆检索从长期记忆中明确选择这些信息并将其转移到短期记忆中。

规划

为了实现用户的目标，智体需要制定策略并据此制定规划 [25]。规划生成有两种设计模式：单路规划生成器和多路规划生成器。单路生成器协调生成中间步骤，以实现用户目标。每步都设计为只有一个后续步，例如思维链 [26]。自洽会多次询问 FM，并选择最一致的答案作为最终答案 [27]。另一方面，多路生成器允许在每步创建多个选择。每个中间步都可能导致多个后续步。自洽的思维链 [28] 和思维树 [29] 就是这种设计模式的典型例子。

单路生成器和多路生成器都可以涉及两种模型查询设计模式：一次性模型查询和增量模型查询。在一次性模型查询中，例如思维链 [26] 和自洽思维链 [28]，FM 在单个实例中被访问，以有效地生成规划所需的所有推理步骤。增量模型查询，例如思维树 [29]，涉及在生成过程每步去访问 FM，这使得规划过程更具迭代性和​​交互性，可以适应不断变化的情况或不断变化的用户需求。

规划反思允许智体通过三种设计模式结合反馈来完善规划 [30]：自我反思、交叉反思和人类反思。自我反思使智体能够生成反馈，并从自身提供完善指导 [31–34]。交叉反思使用不同的智体或 FM 对规划提供反馈和完善 [34–36]。智体可以收集来自人类的反馈来完善规划，这可以有效地与人类的偏好保持一致 [37, 38]。

执行引擎

一旦确定规划，执行引擎的作用就是付诸实施。任务执行器负责执行规划中概述的任务。任务监视器是必需的，用于监视任务的执行状态和管理排队等待执行的任务 [39, 40]。除了直接利用 FM 的内部知识或通过检索增强生成 (RAG) 提取外部知识来指导操作执行外，任务执行器还可以与其他智体合作或利用外部工具 [41, 42]，从而扩展功能。工具/智体选择器 [36, 43] 可以在工具/智体注册 [41, 42, 44] 或网络上执行搜索，查找完成任务的相关工具和智体。人类可以在市场上交易或雇用专业智体。其所有者可以根据自己的知识或技能建立智体的记忆，从而获得激励。基于 FM 的排序可用于分析工具/智体的性能并确定最佳工具/智体 [10]。工具/智体生成器可以根据自然语言要求自动创建 [45, 46]。

有三种设计模式支持多智体合作：基于投票的合作、基于角色的合作和基于辩论的合作。在基于投票的合作中，自由提供意见并通过投票达成共识 [47]。还可以通过基于角色的合作分配不同的角色来实现合作 [19, 19, 48, 48, 49]。一种特殊的基于角色合作是竞争性拍卖模式。这涉及两个角色：提出任务并协调拍卖过程的拍卖师，以及积极参与竞标的竞标者 [50, 51]。基于辩论的合作融合了博弈论的概念，其中一个智体可以接收来自其他智体的反馈[52, 53]并调整思想和行为，直到达成共识[54, 55]。

负责任AI插件

为了确保 AI 负责任，可以采用一组模式作为插件 [56]。持续风险评估器 [57, 58] 持续监控和评估 AI 风险指标，以防止滥用并确保可信度。黑盒记录器 [4] 记录运行时数据，然后可以与相关利益相关者共享，以实现透明度和问责制。记录的数据包括架构内每个组件的输入、输出和中间数据，例如 FM、外部工具或其他 RAI 插件（例如护栏）的输入和输出。所有这些数据都需要与时间戳和位置数据一起作为证据保存，例如使用基于区块链的不可变日志。

一种特定类型的监控称为护栏，它是 FM 或微调 FM 与其他组件或系统之间的一层。它们旨在控制 FM 的输入和输出以满足特定要求，例如用户要求、道德标准、法律。护栏可以建立在 RAI 知识库、RAI 窄模型或 RAI FM 之上。RAI FM 可以进行微调，也可以调用 RAI 知识库来支持 RAI 控制。

护栏可以有不同的类型。输入护栏应用于从用户收到的输入，例如拒绝或修改用户提示。例如，某些用户的提示可能包含个人身份信息 (PII)，需要通过使用数据去识别和匿名化 [59] 将其删除，然后再发送给 FM。输出护栏关注 FM 生成的输出，例如修改 FM 的输出或阻止将某些输出返回给用户。 RAG 护栏用于确保检索到的数据是适当的，方法是拒绝或修改检索到的数据。执行护栏应用于 FM 可能调用以执行操作的狭义 AI 模型或外部工具的输入/输出。可以建立白名单和黑名单来分别识别允许和禁止的操作 [60]。在工作流执行期间，可以使用中间护栏来保证每个中间步骤都符合必要的标准。这涉及检查是否应该执行操作或确定是否应该调用 FM，或者决定是否应该使用预定义的响应等。

为了提供全面的监控和控制，可以设计多模态护栏来防止向 FM 发送不适当的多模态输入，无论这些输入来自用户还是其他软件组件或外部工具或模型。防止 FM 本身生成不适当的多模态输出，无论这些输出是发送给用户还是其他软件组件或外部工具或模型。例如，如果 UI 是根据需要动态生成的，则多模态护栏可以有效标记任何未能满足特定要求（例如标准）的 UI 元素。

解释器的作用是阐明智体的角色、能力、局限性、其中间或最终输出背后的原理 [61] 以及道德或法律含义 [62]。但是，验证这些解释可能具有挑战性。

AI 模型

在设计基于 FM 的应用程序（包括智体）的架构时，最关键的决策之一是选择是使用外部 FM 还是经过微调的 FM [42,65]，还是从头开始在内部构建一个独立的 FM [4,5]。使用外部 FM 既经济高效，又有可能提高准确性并使其适用于更广泛的任务。为了更好地执行特定领域的任务，可以使用特定领域的数据对外部 FM 的参数进行微调。从头开始在内部训练一个独立的 FM 可以完全控制模型流程，以确保安全性并有助于在某些领域保持竞争优势。