国外各领域专家学者的一些谏言：如何使AI代理架构变得成功

最近在研究AI代理架构为什么比较难落地，看到有一篇文章是关于各领域专家学者对AI代理架构的一些看法，值得关注。

我将其整理成了中文，大家可一起细品各家观点，全文如下。

代理型人工智能被寄予厚望，其潜力在于能够独立完成复杂任务。然而，目前该领域的炒作热潮远超实际成功案例，背后原因复杂多样。

“2024 年，AI 代理已成为众多供应商的营销热词。但对于用户组织而言，代理技术还处于早期探索阶段，充满好奇心与实验性，真正落地实施的案例却寥寥可数。”Forrester 的首席分析师 Leslie Joseph 指出。“我们预计到 2025 年，随着技术与生态系统逐渐成熟，这一局面将有所改观。不过，我们的预测也带有一定的警示意味。”

Joseph 分析认为，组织在构建 AI 代理时失败的主要原因有三：一是对代理工作流程的愿景规划不够清晰；二是技术解决方案存在缺陷；三是对变革管理重视不足。

“如果对代理工作流程的愿景规划不够清晰，可能会导致代理功能的范围界定过于宽泛或过于狭窄，”Joseph 解释道。“范围过窄，问题可能通过简单的确定性工作流程就能解决；而范围过宽，则会引入过多的变异性，使问题复杂化。 代理构建者需要深入思考他们试图解决的业务问题是什么，以及 AI 代理在其中应扮演怎样的角色。”

其次，代理技术目前仍处于早期发展阶段，包括代理工具在内的整个生态系统，其成熟度可能并不如人们预期的那样高。

“尽管许多供应商大力宣传其代理构建平台的易用性和拖放功能，但要打造出一个稳定可靠的企业级解决方案，仍需在底层进行大量的工程开发工作，这需要具备强大的技术实力”Joseph 强调。

最后，缺乏对变革管理的关注也是一个关键因素。 组织需要充分理解代理工作流程如何与现有流程相融合或相互增强，并积极主动地进行变革管理。

“大型语言模型的出现，就像砖块的发明一样具有划时代的意义，”Joseph 形象地比喻道。“现在，我们正致力于研究如何将这些砖块巧妙组合，搭建起房屋、城市乃至摩天大楼。 每个企业都需要明确自己期望的自主程度，并借助 AI 代理来逐步实现这一目标。”

他预测，在短期内，企业将主要从流程改进和生产力提升中获益；但从长远来看，企业应为代理技术在技术栈中可能引发的变革做好充分准备。目前，公司应积极拥抱 AI 代理和代理工作流程，充分发挥其颠覆性的潜力。

“企业应开始投资于相关实验，并将预算分配给概念验证项目，确保团队在实践中不断学习和积累经验，而不是将所有工作都外包给 ISV 或技术供应商，因为这些宝贵的学习经验在未来的应用中将发挥至关重要的作用，”Joseph 建议。

多代理工作流程面临挑战

在构建多代理工作流程时，企业主要面临三大挑战，Freshworks 软件公司的首席技术官 Murali Swaminathan 指出。 首先，在非结构化和对话式的环境中，使工作流程变得可预测极为困难；其次，即使在工作流程中进行复杂推理，也可能具有规定性且难以可靠实现；第三，需要持续评估这些工作流程，以衡量并最终实现其有效性。

“企业必须建立明确的方法，明确他们希望代理系统解决哪些工作流程或问题，”Swaminathan 强调。“此外，他们必须制定明确的计划，说明他们将如何衡量成功。这种方法将确保期望得到合理衡量，并采用‘进步优于完美’的策略。”

从短期来看，企业最有可能实现与员工和代理相关的任务目标；从长期来看，业务收益应该会随之而来，同时还会带来关于企业应该和不应该做什么的深刻洞察。

“企业应创建一个明确的计划，说明如何实施、利用和衡量代理架构的成功，”Swaminathan 总结道。“不制定计划，就等于计划失败。”

基础设施和数据治理至关重要

在代理架构方面，基础设施和数据治理的重要性不容忽视。

“如果没有适当的基础设施和数据治理，代理架构将难以应对成功实施所需的复杂性、规模和互操作性，”Sutherland Global 的首席信息官和首席数字官 Doug Gilbert 指出。“公司应专注于构建一个强大的数字核心，能够满足 AI 的高需求，从数据处理到与混合或多云环境的无缝集成。这不仅使组织能够高效地扩展 AI 能力，还确保了随着系统的演变而具备适应的灵活性。”

同样重要的是制定一个明确的数据战略，无论采用混合、私有还是多云方法，安全且可访问的数据对于构建健壮的 AI 解决方案至关重要，以确保全面的合规性和安全性。

互连性不容忽视

对于代理 AI 来说，与为人类设计的其他系统进行交互比看起来要困难得多。

“让RPA（Robotic Process Automation，机器人流程自动化）几乎达到100%的可靠性花费了超过12年的时间。而且这是精心编写的硬代码，用于与网络和Windows上的人类操作系统进行交互。因此，我们看到一些人建议他们可以让大型语言模型（LLM）做同样的事情，但结果证明这是相当不可靠的，”自主测试平台Appvance的董事长兼首席技术官Kevin Surace说。“当代理认为它做对了一切，但你后来发现付款从未发出时，人们会感到失望。”

尽管人类并非事事都对，但人们期望代理 AI 的结果是 100% 准确的。作为准确性的基准，Surace 建议将准确率目标设定得与 RPA 或训练有素的人类一样高。

“任何人都可以演示几次简单的操作，”Surace说。“但若能在不出现故障的情况下，重复一千次执行具有变化性的复杂任务，那才是人们真正想要的产品。”

编排可能很棘手

编排涉及从多个代理输出的端到端协调，为用户提供统一而全面的解决方案。

“代理 AI 架构的一个关键点是其按功能领域（如 IT、HR、工程等）逻辑组织代理的能力。 这种结构化方法使企业能够部署专门的代理，以满足每个部门的独特需求，”代理 AI 提供商 Aisera 的首席执行官 Abhi Maheshwari 说。“通过根据功能领域对代理进行分类，组织可以优化工作流程，提高任务精度，并确保每个代理在其专业领域内运行，以实现最大效果。”

否则，可能会诱使过度依赖通用模型，而处理复杂任务时需要特定领域的专业知识。

“企业应该采用结构化的方法来处理代理架构，从逻辑领域分离开始，以解决特定部门的需求，”Maheshwari 建议。“然后需要与现有系统进行集成。如果没有，代理 AI 的价值就不大了。毕竟，这项技术是关于自动化流程和任务的。"

《Building Generative AI Agents: Using LangChain, LangGraph, and AutoGen》的作者 Tom Taulli 表示，代理在处理训练数据之外的新情况或输入时会遇到困难。

“失败也可能源于目标不一致或监督不足，”Taulli 说。“过于自主的系统如果没有适当的防护措施，可能会做出与用户意图、道德标准或运营目标相冲突的决策。”

最终，企业需要高素质的数据科学家，因为代理 AI 是复杂的，并且该领域不断发展。

从短期来看，Taulli 预计代理 AI 将取代 RPA，因为两者都自动化繁琐和重复的流程。然而，RPA 受到高度限制，这意味着如果流程发生实质性变化，那么机器人就会出错。

“Agentic AI 应该能够适应和演变，而不需要太多的人为干预和编程或脚本。这使得自动化更加可维护和可扩展。”从长期来看，我认为 AI 代理可能会开始取代一些员工所做的事情。这更多的是关于 AGI（Artificial General Intelligence，通用人工智能）开始出现的世界。也就是说，一个超智能系统将能够像人类一样行动，并拥有自己的代理。

治理是关键

数据质量和数量对于训练代理 AI 模型至关重要，但数据中的偏见可能导致偏见和不公平的结果，而围绕 AI 开发和部署的道德考虑和监管挑战可能会阻碍进展并导致意外后果。

“建立健全的治理框架以确保道德 AI 的开发和部署至关重要，”医疗保健 AI 解决方案提供商 CaryHealth 的首席技术官 Matthew Hawkins 说。“此外，与领域专家的合作至关重要，以使 AI 解决方案与现实世界的需求保持一致。”

监控是必不可少的

判断 AI 模型是否正常工作的唯一方法是持续监控它。否则，公司就有使用已经漂移的模型的风险。

“当我们把 AI 代理看作一个系统时，缺乏人类监督可能会在整个代理网络中造成灾难性的失败级联，”技术提供商 EchoStor 的首席信息官 Daniel Clydesdale-Cotter 说。“特定领域的 LLM 不足以复制业务流程工作流程，除非对每个代理进行彻底的测试和优化，以消除幻觉行为。LLM 的黑箱特性又增加了另一层复杂性，因为很难提供每个代理内操作的审计和合规。"

组织必须专注于培训和文化变革，以促进对生成性 AI 的负责任使用，以实现基线流程。

“至关重要的是，在将代理集成之前，先与现有工作流程进行实验、使用和测试，始终保持人类监督，”Clydesdale-Cotter 强调。“组织还必须密切监控其 AI 环境，了解系统内的输出和行为。成功取决于将数据、目标和目标与环境的使用模式对齐。”

成功始于人类监督和明确定义的 MLOps 计划，他说。组织应该与专门为其领域需求构建代理的公司合作。 然而，他们还必须彻底关注工作流程，以确定应用程序和软件集成的可行性。

“企业应该以最佳适配的心态对待 AI，明白并非所有流程都必须进行 AI 增强或自动化，”Clydesdale-Cotter 建议。“针对特定用例有助于避免范围蔓延，并保持对您试图提取的功能的关注。我们将继续通过人类对 AI 代理之间的宏观互动的监督以及 AI 代理内部微观流程的无监督优化，实现流程改进。"

许多组织还没有准备好

AI 已成为许多组织的战略重点，但业务领导者不确定在哪里应用 AI 来解决日常业务问题，并在企业规模上实施用例。

“在底层，挑战在于，尽管业务目标、活动和指标紧密交织，但不同团队使用的软件系统并非如此，这造成了问题，”跨国信息技术服务和咨询公司 Cognizant Technology Solutions 的 AI 首席技术官 Babak Hodjat 说。“这是迄今为止我们看到的大多数 AI 用例仅限于基于预测的结果或单一 LLM 聊天解决方案的一个重要原因。"

围绕多代理系统和决策制定的核心原则组织整体技术和 AI 战略，将最有助于企业取得成功，他说。

“LLM 在特定任务上非常出色，但拥抱多代理架构才是真正重塑行业的，因为代理将能够相互沟通，”Hodjat 说，“未来将是公司拥有能够满足需求并与彼此互动的代理的设备和应用程序。 这些代理将在整个企业中工作，协助人类的每一个角色，从人力资源和财务到市场营销和销售。”

参考：https://www.informationweek.com/machine-learning-ai/why-most-agentic-architectures-will-fail