Chain of experts: LLM面对复杂运筹学问题
目的: 研究了复杂运筹学(OR)问题的自动建模与编程,以减轻对领域专家的严重依赖
方法: 提出一个CoE,多智能体协作框架,每个agent由对应角色和,并赋予OR相关的领域知识。一个指挥家,通过前向的思想建构和后向的反思机制来协调这些agents。此外创建了复杂OR问题的基准数据集 ComplexOR
结果: 优于其他基于LLM的算法
背景
简单的优化任务和工业中复杂运筹学问题(存在专业名词、隐含约束)
提出一个多智能体推理框架,即专家链(CoE),以协调多个LLM代理解决复杂或问题。在协同工作的领导下,有一个被指定为“指挥家”的中心Agent,负责协调各agents之间的交互顺序。每个代理都被分配到一个特定的角色,并配备了特定领域的专业知识。我们实现了具有不同技能集的agents,包括但不限于变量提取、术语解释器、数学模型构建、编程和代码审查。最后反向反思机制,来发现潜在错误。
面对复杂OR问题时表现出明显的局限性,因为它们不能同时应对隐性约束、外部知识先决条件和长推理链的挑战。在我们的CoE中,我们通过多Agent协作来解决这些挑战,
方法
专家是 基于LLM的专业Agent,每个专家被分配到一个特定的角色,并经历四个步骤:
上下文学习(访问知识库)——推理(CoT或SC)——总结(总结推理)——评论(给出建议)
由指导者根据问题开始分配,术语解释-建模-编程-评估-反馈编程-反馈建模-编程-评估-答案
实验
- 传统方法不如LLM,且无法解决复杂问题
- ReACT效果不错,因为知识库。CoE性能最佳,专家知识和外部库都很重要。
- 可视化领导者,发现建模和编码的agent被大量调用,且二者之间连接被选择的最多,符合常理。