《State of AI Agents》AI Agents 现状报告-LangChain发布最新报告

在这里插入图片描述

原文地址

摘要

我们调查了 1,300 多名专业人士(从工程师和产品经理到业务领导者和高管),以揭示 AI 代理的现状。在我们分解当今 AI 代理的使用方式(或未使用)时,深入研究数据。

Introduction

到 2024 年,AI 代理不再是小众兴趣。各行各业的公司都越来越重视将代理整合到他们的工作流程中 - 从自动化日常任务到协助数据分析或编写代码。

但幕后到底发生了什么?AI 代理是否发挥了他们的潜力,或者他们只是另一个流行词?谁在部署它们,是什么阻止了其他人一头扎进去?

我们调查了 1,300 多名专业人士,以了解 2024 年 AI 代理的状况。让我们深入了解下面的数据。

见解

首先,代理到底是什么?
在 LangChain,我们将代理定义为使用 LLM 来决定应用程序控制流的系统。就像自动驾驶汽车的自主性级别一样,也有一系列代理功能。

代理采用(Agent adoption)就像掷硬币一样存在不确定性——但几乎所有人都对此有计划。

代理竞争正在升温。在过去的一年里,许多代理框架获得了巨大的普及——无论是使用 ReAct 结合 LLM 推理和操作、多代理编排器,还是像 LangGraph 这样更可控的框架。

并非所有关于经纪人的喋喋不休都是 Twitter 的炒作。目前,大约 51% 的受访者在生产中使用代理。当我们按公司规模查看数据时,中型公司(100 - 2000 名员工)最积极地将代理商投入生产(占 63%)。

令人鼓舞的是,78% 的受访者积极计划尽快将代理投入生产。虽然很明显,人们对 AI 代理的需求很强烈,但实际的生产部署对许多人来说仍然是一个障碍。

在这里插入图片描述
我们还继续看到公司从简单的基于聊天的实施转向更高级的框架,这些框架强调多代理协作和更多的自主功能。(请参阅下面的“新兴主题”部分。

虽然众所周知,科技行业是早期采用者,但所有行业对代理商的兴趣都越来越大。在非科技公司工作的受访者中,90% 已经或计划将代理投入生产(几乎相当于科技公司的 89%)。

领先的代理用例

人们使用代理做什么?代理既要处理日常任务,又要为知识工作打开新的可能性。

代理的主要用例包括执行研究和总结 (58%),其次是简化个人生产力或帮助的任务 (53.5%)。

这些说明了人们希望让其他人(或某物)为他们处理耗时的任务。用户无需筛选无休止的数据进行文献综述或研究分析,而是可以依靠 AI 代理从大量信息中提取关键见解。同样,AI 代理通过协助安排和组织等日常任务来提高个人生产力,让用户可以专注于重要的事情。

效率提升不仅限于个人。客户服务 (45.8%) 是座席用例的另一个主要领域,可帮助公司处理查询、排除故障并加快跨团队的客户响应时间。

在这里插入图片描述

安全总比后悔好:需要追踪和人工监督来检查代理人

能力越大,责任越大——或者至少需要为您的代理人提供一些刹车和控制。跟踪和可观测性工具是必备控件的首位,可帮助开发人员了解代理行为和性能。大多数公司还采用护栏来防止代理商偏离轨道。

在这里插入图片描述
在测试 LLM 应用程序时,离线评估 (39.8%) 比在线评估 (32.5%) 更常被提及为一种策略。这可能说明了监控实时性能的难度。在填写回复中,许多公司还让人工专家手动检查或评估回复,以增加一层预防措施。

尽管人们已经对代理商感到兴奋,但大多数人在谈到我们将让代理商在多大程度上摆脱束缚时采取了更保守的方法。很少有受访者允许他们的代理自由读取、写入和删除。相反,大多数团队要么允许只读工具权限,要么需要人工批准才能执行更重要的操作,例如写入或删除。

在这里插入图片描述
在代理控制方面,不同规模的公司对其优先级的权重也不同。不出所料,大型企业(2000+ 名员工)更加谨慎,严重依赖“只读”权限以避免不必要的风险。他们还倾向于将护栏与离线评估配对,以便在客户看到任何响应之前捕获预生产中的回归。

在这里插入图片描述
与此同时,小公司和初创公司(<100 名员工)更专注于跟踪以了解他们的代理应用程序中发生的情况(而不是其他控件)。从我们的对话来看,小公司往往只关注运输和通过查看数据来理解结果;而企业则全面实施了更多的控制措施。

在这里插入图片描述

虽然非科技和科技公司受访者的代理采用率相似,但在那些在生产中使用代理控制的受访者中,科技公司更有可能使用多种控制方法。 51% 的科技受访者目前正在使用 2 种或多种控制方法,而其他行业的受访者只有 39%。这表明科技公司可能在构建可靠的代理方面走得更远,因为需要控制才能获得高质量的体验。

在这里插入图片描述

让代理投入生产的障碍和挑战

保持 LLM 应用程序的高性能质量(从响应是否准确或是否遵循正确的样式)并不容易。

性能质量是受访者最关心的问题,其重要性是成本和安全等其他因素的两倍多。

座席使用 LLM 控制工作流程的固有不可预测性带来了更大的错误空间,使团队难以确保其座席始终如一地提供准确、符合上下文的响应。

在这里插入图片描述

特别是对于小公司来说,性能质量远远超过其他考虑因素,45.8% 的人将其列为主要考虑因素,而成本(第二大问题)仅为 22.4%。这一差距凸显了可靠、高质量的性能对于组织将代理从开发转移到生产有多么重要。

虽然质量仍然是企业的首要考虑因素,但对于这些必须遵守法规并更敏感地处理客户数据的大型公司来说,安全问题也普遍存在。

在这里插入图片描述
挑战并不止于质量。从书面回复中,许多人对构建和测试代理的最佳实践感到不确定。特别是,有两个主要障碍突出:知识和时间。

• 知识:团队经常难以掌握与代理合作所需的技术知识,包括针对特定用例实施这些技术知识。许多员工仍在学习技巧,需要提高技能以有效利用 AI 代理。

• 时间:构建和部署所需的时间投入非常大,尤其是在尝试确保代理可靠运行时 - 这可能需要调试、评估、微调等。

代理成功案例:Cursor 抢尽风头

在这里插入图片描述
在我们的调查中,Cursor 成为最受关注的代理应用程序,紧随其后的是 Perplexity 和 Replit 等重量级应用程序。

Cursor 是一个 AI 驱动的代码编辑器,通过智能自动完成和上下文帮助帮助开发人员编写、调试和解析代码。Replit 还通过设置环境、配置并让您在几分钟内构建和部署功能齐全的应用程序来加速软件开发生命周期。Perplexity 是一个 AI 驱动的答案引擎,可以通过 Web 搜索和响应中的链接源来回答复杂的查询。

这些应用程序正在突破代理可以做的界限,表明 AI 代理不再是理论上的,它们正在解决当今生产环境中的实际问题。

AI 代理采用的新兴主题

从我们的书面回复中,我们看到组织在将 AI 代理引入其工作流程时面临的许多不断变化的期望和挑战。

AI 代理的这些功能令人钦佩:

在这里插入图片描述
但是,团队建设代理也需要考虑挑战。这包括:

• 理解代理行为的障碍。 几位工程师写了一篇关于他们在向公司其他利益相关者解释 AI 代理的功能和行为时遇到的困难。有时,一些额外的步骤可视化可以解释代理响应发生的情况。其他时候,LLM 仍然是一个黑匣子。可解释性的额外负担留给了工程团队。

尽管存在挑战,但围绕以下领域仍存在显着的嗡嗡声和活力:

在这里插入图片描述

结论

集成 AI 代理的竞赛已经开始,因为公司已经开始重塑工作流程并设计他们的未来,由 LLM 掌舵,以改进决策和人类生产力。

但是,尽管人们兴奋不已,但公司也意识到,他们必须谨慎行事,播下正确的控制措施来导航新的用例和应用程序。团队渴望但谨慎,尝试各种框架,以试图保持他们的代理响应高质量且无幻觉。

展望未来,能够破解可靠、可控代理密码的公司将在下一波 AI 创新浪潮中抢占先机,并开始为智能自动化的未来设定标准。

方法

前 5 大行业:

  • 技术(60% 的受访者)
  • 金融服务(11% 的受访者)
  • 医疗保健 (6% 的受访者)
  • 教育 (5% 的受访者)
  • 消费品 (4%)

公司规模:

  • <100 人(占受访者的 51%)
  • 100-2000 人(占受访者的 22%)
  • 2000-10,000 人(占受访者的 11%)
  • 10,000+ 人 (占受访者的 16%)

以上内容全部使用机器翻译,如果存在错误,请在评论区留言。欢迎一起学习交流!

如有侵权,请联系我删除。xingyezn@163.com

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值