Agent论文分享~01：Improving Multi-Agent Debate with Sparse Communication Topology

Improving Multi-Agent Debate with Sparse Communication Topology

1.摘要

​ 多智能体辩论已被证明在提高大型语言模型的推理和事实准确性任务质量方面是有效的。尽管已经探索了多智能体辩论中的各种角色扮演策略，但在智能体之间的通信方面，现有方法采用了一种暴力算法——每个智能体可以与所有其他智能体通信。在本文中，我们系统地研究了多智能体系统中通信连接性的影响。我们在GPT和Mistral模型上的实验表明，利用稀疏通信拓扑结构的多智能体辩论能够实现相当甚至更优的性能，同时显著降低计算成本。此外，我们将多智能体辩论框架扩展到了多模态推理和对齐标注任务，展示了其广泛的应用性和有效性。我们的研究结果强调了通信连接性在增强“心智社会”方法的效率和效果方面的重要性。

• 现存问题
  • agent之间的交流采用的是暴力算法，每个智能体都可以互相通信
    • 所造成问题
      • 推理成本消耗大
• 解决方案
  • 采用稀疏矩阵的交流方式，如下图所示

2.相关任务

• 验证稀疏矩阵应用的普适性

  • 推理/对齐标记------------多任务验证

• 验证MAD与其他方法的优势论证

  • CoT
  • SC

• 测试稀疏程度在实际应用的效果验证

  • 稀疏程度采用每个agent能连接的agent数量来衡量

• 验证稀疏矩阵的有效降低成本

• 解释稀疏矩阵的沟通方式为什么能有效降低成本且保证质量

  • 稀疏矩阵会使得agent之间的辩论轮次增，从而优化了解
  • 全连接的方式在面对简单问题的时候效果较好，但是在面对复杂问题时，过多的解，会对模型的结果造成困惑，影响质量

• 尝试不同LLM组合的效果

  • 验证将参数量更大的模型放在，中心位置，会获取更优解。