AgentBench排行榜25个主流LLM作为Agent的能力评估结果和重要结论

最新推荐文章于 2025-03-11 10:49:42 发布
最新推荐文章于 2025-03-11 10:49:42 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： AgentBench 文章标签： VectorDBBench 向量数据库 MIlvus Cloud AgentBench
大禹智库
本文链接：https://blog.csdn.net/qinglingye/article/details/132278948
版权

最终，清华大学评估了25个主流的LLM在上述8个任务上的表现来评估各大模型作为Agent的最终得分。结果如下：

从上面的评测结果，我们也可以看出几个非常重要的结论：

  1. 商业顶级模型（如GPT-4）展现出在复杂环境中完成代理任务的强大能力，它们能够理解指令并进行多轮交互。这显示了LLM作为代理的潜力。
  2. 但是，目前开源模型与商业模型之间还存在显著的差距，开源模型在AgentBench上普遍表现较弱。这提示开源LLM的代理能力仍有提升空间。
  3. 不同环境有不同的挑战，如操作系统和数据库考察编码能力，知识图谱需要复杂推理，网页浏览需要处理庞大inputs。不同模型之间也存在明显的优劣。
  4. 一些共性问题影响了当前模型的表现，如多轮一致性、动作有效性等。这些也是未来的研究方向。
  5. 代码训练确实能增强编程相关环境的表现，但可能以牺牲其他能力为代价。模型的训练方式需要针对目标任务进行优化。
  6. 国产模型中，ChatGLM2-6B的综合得分最高，也是开源模型最高得分，但也低于谷歌的模型（text-bison-001）
  7. 开源模型大多数综合得分不足1分，而GPT-4的得分则超过4分，达到4.41分！ChatGLM-6B第一代与BaiChuan-7B的表现都很差，

上述结论都是基于表的数据分析得到，例如，通过对两个规模相近的模型chatglm2和codegeex2-6b在AgentBench(agentbench.com.cn)上的表现，可以看出代码训练的价值。其中，codegeex2-6b经过代码训练，在操作系统和数据库两个编程相关环境上明显优于chatglm2。但在需要逻辑推理的横向思维难题上，codegeex2-6b的表现下降。

下图展示了几个模型的对比结果：

GPT-4几乎像全能战士一样，超越所有模型！

AgentBench——AI智能体基准测试和排行榜
实战AI智能体
08-19 648
如果您有兴趣了解有关如何对语言模型基准测试的更多信息，那么一种新的基准测试工具Agent Bench已成为游戏规则的改变者。这个创新工具经过精心设计，将大型语言模型列为代理，对其性能进行全面评估。该工具的首次亮相已经在AI社区掀起了波澜，揭示了ChatGPT-4目前作为性能最佳的大型语言模型而位居榜首。不仅仅是一种工具，而是AI行业的一场革命。它是一个开源平台，可以在桌面上轻松下载和使用，使广泛的用户可以访问它。该工具的多功能性体现在它能够在八个不同的环境中评估语言模型。
AI Agent框架（LLM Agent）：LLM驱动的智能体如何引领行业变革，应用探索与未来展望
丨汀、的博客
07-05 3013
AI Agent框架（LLM Agent）：LLM驱动的智能体如何引领行业变革，应用探索与未来展望
【LLM】Agent的相关Benchmark
发现问题，并解决问题，批判性思维
11-13 1214
AgentBench 评估维度： 8个任务环境：操作系统（OS）、数据库（DB）、知识图谱（KG）、卡牌对战（DCG）、情景猜谜（LTP）、家居（Alfworld）、网络购物（WebShop）和网页浏览（Mind2Web）， 25 个不同的语言模型（包括基于 API 的模型和开源模型）：有效性、上下文长度记忆、多轮对话一致性和代码生成执行等全面评估。 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/01a8967e8318466f99697f692c75bd8a
一步步教你如何构建一个通用的大模型智能体（LLM Agent）
最新发布
weixin_59191169的博客
03-11 841
LLM 与 Agent 之间的主要区别在于系统提示（system prompt）。在 LLM 的上下文中，系统提示是一组指令和上下文信息，在模型处理用户查询之前提供给它。Agent 预期的行为可以在系统提示中进行编码，从而定义其 Agentic 行为模式。工具调用（Tool Use）Agent 决定何时将查询传递给合适的工具，或直接依赖自身知识回答。自反思（Reflection）Agent 在回应用户之前，会先检查并修正自己的回答。大多数 LLM 系统都可以加入一个反思步骤。
基于大模型（LLM）的Agent 应用开发
我相信......
10-15 6153
目前，业界一般认为基于大模型的应用集中在两个方向上：RAG 和 Agent，无论哪一种应用，设计、实现和优化能够充分利用大模型(LLM)潜力的应用都需要大量的努力和专业知识。随着开发人员开始创建日益复杂的LLM应用程序，开发流程不可避免地变得更加复杂。这种流程的潜在设计空间可能是巨大而复杂的，《如何构建基于大模型的App》一文给出了一种探索中的大模型应用开发基础框架，基本可以适用于RAG 和Age...
AGENTBENCH：评估LLMs作为代理的能力
liangwqi的博客
11-02 2653
本文介绍了如何构建智能代理评测集，并对智能代理能力进行了分类。文章提出了一个多维度的基准测试，名为AGENTBENCH,用于评估大型语言模型作为代理在多轮开放式生成设置中的推理和决策能力。文章对27个基于API和开源（OSS)的LLMs进行了广泛的测试，结果显示，尽管顶级商业LLMs在复杂环境中表现出强大的代理能力，但它们与OSS竞争者之间在性能上存在显著差距。文章指出，糟糕的长期推理、决策制定和指令遵循能力是开发可用LLM代理的主要障碍。在代码和高质量多轮对齐数据上进行训练可以提高代理性能。
LLM之Agent初探
qq_44193969的博客
01-02 1924
1、tool description 非常重要，没有写好description，agent无法理解在什么情况下应该调用该tool2、输入参数的 description 非常重要，想要LLM生成给定格式的输入参数，可以给一些few shot样例3、agent本质还是prompt工程，极大程度上依赖于LLM的参数量。小模型无法理解prompt，无法生成给定格式的输入参数，导致tool函数不能被正常调用。
AgentBench: Evaluating LLMs As Agents
夏栀的博客
07-29 1557
现如今，大语言模型在指令微调和偏好对齐的微调下能够展现出类似人类的智能。目前有许多工作提出了一些LLM-as-an-agent的工作，例如AutoGPT、BabyAGI、AgentGPT等。但是目前如何系统性地评估Agent的好坏依然是一个比较棘手的挑战。目前有一些评估的工作，比如文本类的游戏、多模态的游戏模拟等，但是这些评估方法通常是闭源、离散的，且场景过于单一。为了解决这个问题，本文提出AgentBench，一种多维度多场景（环境）的LLM-as-Agent的评估基准。
基于LLM的Agent的兴起及其潜力：综述
安静的软件工程师
02-05 2515
基于LLM的Agent的兴起及其潜力：综述
An In-depth Survey of Large Language Model-based Artificial Intelligence Agents（基于大模型的智能代理的深度调研）
qq_46094659的博客
02-20 1001
由于大语言模型（LLM）所展示的强大功能，最近人们纷纷将其与人工智能代理集成以提高其性能。本论文探讨了基于LLM的AI代理与传统AI代理之间的核心差异和特征。具体来说，论文首先比较这两类智能体的基本特征，阐明基于LLM的智能体在处理自然语言、知识存储和推理能力方面的显着优势。随后，论文对AI智能体的关键组成部分进行了深入分析，包括规划、内存和工具使用。特别是，对于记忆的关键组成部分，本文引入了一种创新的分类方案，不仅脱离了传统的分类方法，而且为人工智能代理的记忆系统的设计提供了全新的视角。
总结：大模型应用技术原理
安静的软件工程师
01-10 1989
大模型应用技术原理
【LLM-agent】利用混合agent来增强大语言模型能力
xxue345678的博客
07-04 944
论文标题：Mixture-of-Agents Enhances Large Language Model Capabilities论文链接：https://arxiv.org/pdf/2406.04692随着LLMs数量的增加，如何利用多个LLMs的集体专业知识成为一个令人兴奋的开放方向。为此，论文提出了一种新方法，通过混合agent（Mixture-of-Agents， MoA）方法论来利用多个LLMs的集体优势。在论文的方法中，论文构建了一个分层的MoA架构，其中每一层包含多个LLMagent。
什么是LLM Agent?
alauda_andy的博客
03-28 4820
LLM Agent 已经成为大语言模型中最有价值的探索方向，也更趋于最前沿的通用人工智能。构建企业自己的 LLM Agent 有助于企业在最前沿的人工智能领域探索具有完全自主性的智能化能力，包括基于企业知识库、企业工具 API（如：会议、审核、报表等）实现完全智能化的操作能力的探索。
LLM Agent 概述
2301_76168381的博客
02-10 877
LLM Agent 是高级 AI 系统，旨在创建需要顺序推理的复杂文本。他们可以提前思考，记住过去的对话，并使用不同的工具根据所需的情况和风格调整他们的回答。现在，考虑一个详细的场景：根据新的数据隐私法，公司面临的常见法律挑战是什么，法院如何解决这些问题？这个问题比仅仅查找事实更深入。这是关于了解新规则，它们如何影响不同的公司，并了解法院对这一切的看法。一个简单的 RAG 系统可以提取相关的法律和案例，但它缺乏将这些法律与实际业务情况联系起来或深入分析法院判决的能力。
探索未来智能：推荐 AgentBench——新一代LLM评估基准
gitblog_00082的博客
05-13 873
探索未来智能：推荐 AgentBench——新一代LLM评估基准 去发现同类优质开源项目:https://gitcode.com/ 在人工智能的快速发展中，大型语言模型（LLMs）正逐步展现其在多任务场景中的潜力。为了更好地理解与衡量这些模型的能力，AgentBench 应运而生，这是一个全新的评估框架，旨在测试 LLM 作为自主代理的能力。通过一系列精心设计的任务环境，它为我们提供了全面评价L...
ModaHub魔搭社区：AgentBench简介
实战AI智能体
08-15 354
只有LLM能完成上述具体任务，才可能承担好AI Agent的工作。AgentBench是一个系统的基准，用于评估大语言模型（LLM）作为代理执行实际任务的能力。很显然，如果LLM可以在上述场景中表现很好，那么作为Agent肯定也会非常棒。
Agent : 一文读懂LLM Agent架构，详解Profile，Memory，Planning，Action模块作用
强化学习曾小健
11-05 9568
对于对Agent感兴趣的朋友们，我推荐一篇论文，它全面地介绍了Agent的架构，对于理解Agent的全局有着重要的价值。架构就像PC的硬件，但仅依赖架构设计是不够的，我们还需要赋予Agent完成不同任务的能力，这些被视为“软件”资源。除了这些基础知识，我认为最有价值的部分在于，它总结了基于大型语言模型（LLM）的Agent的架构，使我们能够按照一定的标准范式去设计自己的Agent。反馈的来源可能来自任务执行结果的客观反馈，也可能是根据人的主观判断给出的反馈，甚至还可以是由辅助模型提供的反馈。
llm multi agent
01-21
### LLM-Based Multi-Agent System 实现与应用 #### 大型语言模型多代理系统概述 LLM-based Multi-Agent System (LLM-MA) 是一种先进的AI架构，该架构融合了大语言模型和多智能体系统的优点。此系统能够处理复杂的任务并支持多种应用场景，如科学辩论、自动GUI测试等[^1]。 #### 科学辩论场景的应用实例 在特定的任务中，比如科学辩论场景下，LLM-MA 中的智能体会互相交流观点以提升集体推理能力。这样的互动有助于提高大规模多任务语言理解（MMLU）、解决数学问题以及应对 StrategyQA 类挑战的能力[^3]。 #### 自动化GUI 测试案例研究 另一个实际例子来自 DroidAgent 项目，在该项目里开发了一个基于大型语言模型的自主 GUI 测试代理。这个代理能依据应用程序功能设定具体的目标并通过交互完成它们，进而增强了 Android 应用程序界面测试的效果和范围[^2]。 #### 技术细节探讨 对于技术实现方面，考虑到不同类型的环境需求，例如捕食者与猎物模拟器或是协作通讯导航平台，研究人员设计了一套机制让所有参与节点可以在一定条件下发送受限长度的信息给其他成员。当涉及到 SchedNet 的性能评估时，则会对比几种不同的方法论来进行分析，包括但不限于 IDQN 和 COMA 这样的无通信协议方案，还有像 DIAL 变种那样允许有限带宽内传递数据的技术路线[^4]。 ```python class Agent: def __init__(self, id, bandwidth_limit): self.id = id self.bandwidth_limit = bandwidth_limit def broadcast_message(self, message_content): if len(message_content) <= self.bandwidth_limit: print(f"Agent {self.id} broadcasts: {message_content}") else: raise ValueError("Message exceeds the allowed bandwidth limit.") def simulate_agents_communication(agents_list, environment_setup): for agent in agents_list: try: # Simulate broadcasting within given constraints of each agent's setup. agent.broadcast_message(environment_setup['test_message']) except Exception as e: print(e) # Example usage with two agents having different bandwidth limits. simulate_agents_communication([Agent(id=1, bandwidth_limit=50), Agent(id=2, bandwidth_limit=80)], {'test_message': 'This is a test.'}) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大禹智库

大禹智库——河南第一民间智库

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值