【论文阅读】MOA，《Mixture-of-Agents Enhances Large Language Model Capabilities》

前面大概了解了Together AI的新研究MoA，比较好奇具体的实现方法，所以再来看一下对应的文章论文。

论文：《Mixture-of-Agents Enhances Large Language Model Capabilities》
论文链接：https://arxiv.org/html/2406.04692v1

这篇文章的标题是《Mixture-of-Agents Enhances Large Language Model Capabilities》，作者们来自 Duke University 和 Together AI，以及 University of Chicago 和 Stanford University。

摘要：
文章提出了一种新的方法，称为 Mixture-of-Agents（MoA），利用多个大型语言模型（LLMs）的集体优势来提高自然语言理解和生成任务的性能。MoA 方法通过构建分层的 MoA 架构，每层包含多个 LLM Agents，每个Agent使用前一层所有Agents的输出作为辅助信息来生成其响应。MoA 模型在 AlpacaEval 2.0、MT-Bench 和 FLASK 等基准测试中取得了最先进的性能，超越了 GPT-4 Omni。

解决的问题：
文章解决的问题是如何有效地结合多个大型语言模型（LLMs）的专长，以创建一个更加强大和稳健的模型。尽管存在许多 LLMs 并在多个任务上取得了令人印象深刻的成就，但它们仍然面临着模型大小和训练数据的固有限制。此外，不同的 LLMs 具有不同的优势和专门化的任务方面，如何利用这些多样化的技能集是一个挑战。

主要方法：

• Mixture-of-Agents（MoA）方法论： 提出了 MoA 方法，通过迭代过程利用多个 LLMs 来逐步提高生成质量。MoA 结构如图 2 所示，具有 l 层，每层 i 包含 n 个 LLMs，表示为 Ai,1, Ai,2, …, Ai,n。每一层的 LLMs 独立生成对给定提示的响应，并将这些响应呈现给下一层的Agent进行进一步的细化。
• 代理角色的区分： 在合作过程中，LLMs 可以分为两种不同的角色：提议者（Proposers）擅长生成其他模型使用的有用参考响应；聚合者（Aggregators）则擅长将来自其他模型的响应综合成单一的高质量输出。
• 性能指标和多样性考虑： 为了确保模型之间的有效协作并提高整体响应质量，选择每一层 MoA 的 LLMs 是至关重要的。选择过程主要基于两个标准：(a) 性能指标：模型在第 i 层的平均胜率在确定其是否适合包含在第 i + 1 层中起着重要作用；(b) 多样性考虑：模型输出的多样性同样重要，异构模型生成的响应比相同模型产生的响应贡献更大。
• 评估和实验： 作者使用 AlpacaEval 2.0、MT-Bench 和 FLASK 等基准测试对 MoA 进行了全面评估，证明了所提出方法的显著改进。

文章的贡献包括提出了一个新颖的框架，发现了语言模型之间的协作性，并通过使用多个高度竞争的基准测试，实现了最先进的 LLM 性能。

1 Introduction

大型语言模型（LLMs）近年来在自然语言理解和生成领域取得了显著进展。这些模型在大量数据上进行预训练，然后与人类偏好对齐，以生成有用和连贯的输出。然而，尽管有众多的LLMs和它们令人印象深刻的成就，它们仍然面临着模型大小和训练数据的固有限制。进一步扩大这些模型的规模异常昂贵，通常需要在数万亿个token上进行广泛的重新训练。

与此同时，不同的LLMs拥有独特的优势，并在各种任务方面专业化。例如，一些模型擅长于复杂指令的跟随，而其他模型可能更适合于代码生成。不同LLMs之间技能组合