Prompt工程论文：结构化对话，分层行动- LLM 多智能体系统的协作框架

论文地址：https://arxiv.org/pdf/2502.11098?

摘要：近期，基于大语言模型的多智能体系统（LLM-MA）取得了令人瞩目的进展，但在智能体协作完成复杂任务时，通信与优化仍面临诸多挑战。本文提出了一种新颖的框架——Talk Structurally, Act Hierarchically（简称 TalkHier），该框架引入了结构化通信协议以实现更具上下文感知的交流，同时通过分层优化机制应对输出错误、虚假信息与偏见等问题。
在多种任务中，TalkHier 的表现超越了多个类型的当前最先进方法（SoTA），包括推理扩展模型（如 OpenAI-o1）、开源多智能体模型（如 AgentVerse）、以及在现有大语言模型和单智能体基线（如 ReAct、GPT-4o）上的多数投票策略。这些任务涵盖了开放领域问答、特定领域选择性提问以及实用广告文案生成等。
这些成果表明，TalkHier 有望为 LLM-MA 系统树立新的标杆，推动多智能体框架向更高效、更具适应性和协作性的方向发展。
项目代码已开源，详见：https://github.com/sony/talkhier。

研究背景

1. 研究问题：本文提出了一种新的多智能体系统框架，称为TalkHier（Talk Structurally, Act Hierarchically），旨在解决当前大型语言模型（LLM）多智能体系统（LLM-MA）在协作任务中面临的通信和优化难题。现有的LLM-MA系统在处理复杂任务时，通常存在通信不畅、信息冗余和反馈处理不均衡等问题，导致输出结果不准确或存在偏见。
2. 关键论点：
   • TalkHier通过引入结构化的通信协议，确保信息交流的清晰和准确。
   • 该框架采用分层优化的方法，使得多智能体能够有效地进行协作和反馈总结，从而提高整体系统的性能。
   • 实验结果表明，TalkHier在多个基准测试中均超越了现有的最先进技术，展现出其在复杂任务中的有效性和适应性。

研究方法

如图所示，我们提出的 TalkHier 框架在第一行引入了一种全新的通信协议，具有丰富上下文和良好结构化的通信信息；在第二行则引入了协作式的分层优化机制，在 LLM 多智能体框架下通过评估生成汇总且协调一致的反馈信息。

现有方法（左）与我们方法（右）的对比

结果与分析

实验结果显示，TalkHier在多个基准测试中均表现出色：

1. MMLU基准测试：TalkHier在MMLU测试中的平均准确率为88.38%，超越了AgentVerse（83.66%）和ReAct（67.19%）等基线模型，显示了其分层优化的有效性。
   

2. WikiQA评估：在WikiQA数据集上，TalkHier的ROUGE-1分数为0.3461，BERTScore为0.6079，均高于其他基线模型，表明其在开放域问答任务中的优势。
   
   消融实验
   

总体结论

本文提出的TalkHier框架通过引入结构化的通信协议和分层优化机制，显著提高了多智能体系统在复杂任务中的表现。实验结果表明，TalkHier在多个基准测试中超越了现有的最先进技术，展现出其在未来多智能体协作中的广泛应用潜力。未来的研究可以进一步探索其在不同领域中的适用性和优化策略。