ICLR‘25 | 评估大模型智能体的复杂任务规划能力

程序员笑武

于 2025-04-21 20:04:12 发布

阅读量1k

点赞数 27

文章标签：知识图谱人工智能架构政务算法

本文链接：https://blog.csdn.net/m0_59164304/article/details/147401477

版权

项目简介

规划（Planning）是大模型智能体的核心能力，广泛应用于大模型的多工具调用、具身智能场景中的复杂任务拆解和多机器人协同、复杂问题的求解、医学场景中的疑难杂症诊断分析，AI for Science中的实验方案设计等。相较于普通的推理能力，规划更加依赖于结构化思维建模（Structure Thinking），而非单一的线性思维过程。研究表明，目前的大模型在规划能力上仍有显著不足，尤其在处理图结构类型的工作流任务时表现薄弱。未来，提升大模型在复杂规划任务中的表现，特别是增强其对图结构任务的理解与规划能力，将是推动智能体广泛应用的关键之一。

大模型智能体正在迅速发展，能力已不再局限于 API 调用。诸如OpenAI的Operator和Anthropic的Computer Use等，能够像人类一样直接与界面交互，执行复杂操作。

在处理这类复杂任务的过程中，大模型智能体将问题分解为可执行的工作流（Workflow）是关键的一步。然而，这一核心能力目前缺乏完善的评测基准。

现有的数据集和评估框架存在明显局限性：要么仅关注规划任务的端到端性能，要么在场景覆盖范围、工作流结构的复杂性以及评估标准的全面性上存在不足。完善的工作流评测基准对于推动大模型智能体在真实场景中的应用和性能提升至关重要。

为解决上述问题，浙大通义联合发布WorfBench——一个涵盖多场景和复杂图结构工作流的统一基准，以及WorfEval——一套系统性评估协议，通过子序列和子图匹配算法精准量化大模型生成工作流的能力。这一研究不仅填补了现有评估体系的空白，还为未来大模型智能体在复杂任务中的应用提供了重要的参考。

WorfBench的构建与评估

WorfBench利用GPT自动化构建多场景任务，包括problem solving、function calling、embodied planning和open-ended planning等，生成了包含18k训练样本、2146测试样本和723个OOD的评测数据集。作者将工作流建模为有向无环图（DAG），以更精确地表示现实世界中的复杂串行或并行智能体工作流。

为了确保数据质量，作者引入了节点链作为中间结构，并采用拓扑排序（Topological Sorting）算法对图结构进行质量过滤，并在测试集上进行人工验证。

WorfEval则通过子序列和子图匹配算法，分别从链结构和图结构两个维度对大模型生成的工作流进行量化评估，从而精准衡量模型的线性规划和图规划能力。

基准评测结果

作者在WorfBench上对18种不同规模的主流大模型进行了全面评估，包括闭源模型（如O1、GPT-4、Claude-3.5）和开源模型（如Llama系列、Qwen系列等）。实验结果显示，与线性结构相比，模型在图结构工作流预测上的能力远未达到现实需求，即使是性能卓越的GPT-4，其图结构工作流的平均性能也仅为52.47%。

此外，作者还对两个开源模型进行了训练，并在OOD任务上评估其泛化能力。结果表明，尽管在训练集上表现出色，但在未见过的任务上，模型的泛化能力仍有待提高。这表明，仅通过数据拟合目前仍难以实现结构化工作流规划能力的有效学习。

工作流生成分析

通过对实验结果的深入分析，作者发现大模型在工作流生成中存在显著的线性规划与图规划能力差距，且图规划能力与模型规模并非完全正相关。例如，部分7B模型在某些任务上超越了13B模型，这可能与模型训练数据的规模和质量有关。

此外，作者还发现，即使提供标签节点链以简化图结构预测任务，模型的图规划性能仍不理想，这表明图规划的复杂性在于对任务依赖关系的理解。

进一步的错误分析显示，大模型在工作流生成中的典型错误主要集中在任务分解的粒度、任务描述的明确性、图结构的正确性以及输出格式的规范性四个方面。这些错误大多源于模型对环境知识的缺乏。

因此，未来的研究方向可能包括优化提示策略、采用多智能体架构，以及将世界知识或世界模型更深入地融入大模型中，以提升其对现实世界的理解能力。

工作流知识增强智能体

作者探讨了工作流在智能体规划中的重要作用。研究发现，工作流不仅可以作为一种流程先验知识直接指导智能体的规划过程，帮助其在复杂任务中更高效地执行，还可以作为链式思考（Chain-of-Thought, CoT）的增强手段，通过为智能体提供更相关的API选择，减轻其在多步任务中的负担。

此外，工作流的图结构特性能够实现并行任务执行，显著减少推理时间，同时减少智能体在规划过程中的步骤数，提升任务完成效率。这些结果表明，工作流不仅是连接任务与具体执行动作的桥梁，还能显著提升智能体在复杂任务中的表现和效率。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述