点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入!
点击 阅读原文 观看作者讲解回放!
个人信息
作者:乔硕斐,浙江大学博士生
项目链接
论文地址:
https://arxiv.org/abs/2410.07869
https://github.com/zjunlp/WorfBench
项目简介
规划(Planning)是大模型智能体的核心能力,广泛应用于大模型的多工具调用、具身智能场景中的复杂任务拆解和多机器人协同、复杂问题的求解、医学场景中的疑难杂症诊断分析,AI for Science中的实验方案设计等。相较于普通的推理能力,规划更加依赖于结构化思维建模(Structure Thinking),而非单一的线性思维过程。研究表明,目前的大模型在规划能力上仍有显著不足,尤其在处理图结构类型的工作流任务时表现薄弱。未来,提升大模型在复杂规划任务中的表现,特别是增强其对图结构任务的理解与规划能力,将是推动智能体广泛应用的关键之一。大模型智能体正在迅速发展,能力已不再局限于 API 调用。诸如OpenAI的Operator和Anthropic的Computer Use等,能够像人类一样直接与界面交互,执行复杂操作。
在处理这类复杂任务的过程中,大模型智能体将问题分解为可执行的工作流(Workflow)是关键的一步。然而,这一核心能力目前缺乏完善的评测基准。
现有的数据集和评估框架存在明显局限性:要么仅关注规划任务的端到端性能,要么在场景覆盖范围、工作流结构的复杂性以及评估标准的全面性上存在不足。完善的工作流评测基准对于推动大模型智能体在真实场景中的应用和性能提升至关重要。
为解决上述问题,浙大通义联合发布WorfBench——一个涵盖多场景和复杂图结构工作流的统一基准,以及WorfEval——一套系统性评估协议,通过子序列和子图匹配算法精准量化大模型生成工作流的能力。这一研究不仅填补了现有评估体系的空白,还为未来大模型智能体在复杂任务中的应用提供了重要的参考。
WorfBench的构建与评估
WorfBench利用GPT自动化构建多场景任务,包括problem solving、function calling、embodied planning和open-ended planning等,生成了包含18k训练样本、2146测试样本和723个OOD的评测数据集。作者将工作流建模为有向无环图(DAG),以更精确地表示现实世界中的复杂串行或并行智能体工作流。
为了确保数据质量,作者引入了节点链作为中间结构,并采用拓扑排序(Topological Sorting)算法对图结构进行质量过滤,并在测试集上进行人工验证。
WorfEval则通过子序列和子图匹配算法,分别从链结构和图结构两个维度对大模型生成的工作流进行量化评估,从而精准衡量模型的线性规划和图规划能力。
基准评测结果
作者在WorfBench上对18种不同规模的主流大模型进行了全面评估,包括闭源模型(如O1、GPT-4、Claude-3.5)和开源模型(如Llama系列、Qwen系列等)。实验结果显示,与线性结构相比,模型在图结构工作流预测上的能力远未达到现实需求,即使是性能卓越的GPT-4,其图结构工作流的平均性能也仅为52.47%。
此外,作者还对两个开源模型进行了训练,并在OOD任务上评估其泛化能力。结果表明,尽管在训练集上表现出色,但在未见过的任务上,模型的泛化能力仍有待提高。这表明,仅通过数据拟合目前仍难以实现结构化工作流规划能力的有效学习。
工作流生成分析
通过对实验结果的深入分析,作者发现大模型在工作流生成中存在显著的线性规划与图规划能力差距,且图规划能力与模型规模并非完全正相关。例如,部分7B模型在某些任务上超越了13B模型,这可能与模型训练数据的规模和质量有关。
此外,作者还发现,即使提供标签节点链以简化图结构预测任务,模型的图规划性能仍不理想,这表明图规划的复杂性在于对任务依赖关系的理解。
进一步的错误分析显示,大模型在工作流生成中的典型错误主要集中在任务分解的粒度、任务描述的明确性、图结构的正确性以及输出格式的规范性四个方面。这些错误大多源于模型对环境知识的缺乏。
因此,未来的研究方向可能包括优化提示策略、采用多智能体架构,以及将世界知识或世界模型更深入地融入大模型中,以提升其对现实世界的理解能力。
工作流知识增强智能体
作者探讨了工作流在智能体规划中的重要作用。研究发现,工作流不仅可以作为一种流程先验知识直接指导智能体的规划过程,帮助其在复杂任务中更高效地执行,还可以作为链式思考(Chain-of-Thought, CoT)的增强手段,通过为智能体提供更相关的API选择,减轻其在多步任务中的负担。
此外,工作流的图结构特性能够实现并行任务执行,显著减少推理时间,同时减少智能体在规划过程中的步骤数,提升任务完成效率。这些结果表明,工作流不仅是连接任务与具体执行动作的桥梁,还能显著提升智能体在复杂任务中的表现和效率。
近期精彩活动推荐
CVPR 2025一作讲者招募中,欢迎新老朋友来预讲会相聚!
关于AI TIME
AI TIME源起于2019年,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,加强思想碰撞,链接全球AI学者、行业专家和爱好者,希望以辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。
迄今为止,AI TIME已经邀请了2000多位海内外讲者,举办了逾700场活动,超800万人次观看。
我知道你
在看
提出观点,表达想法,欢迎
留言
点击 阅读原文 观看作者讲解回放!