MIT&哈佛 | 多智能体微调，通过多样推理链极大提升数学能力

今天给大家带来 MIT&哈佛&斯坦福&谷歌 最新的大模型论文，论文已开源。

【论文标题】Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains

【论文链接】https://arxiv.org/pdf/2501.05707v1

一、摘要

近年来，大型语言模型（LLMs）取得了显著的性能，但从根本上受到基础训练数据的限制。

为了在训练数据之外改进模型，近期的工作探索了如何利用 LLMs 生成合成数据以实现自主改进。

然而，连续的自我改进步骤可能会达到收益递减的点。

这项工作提出了一种互补的自我改进方法，即对语言模型的多智能体社会进行微调。

一组从相同基础模型出发的语言模型，通过使用模型间多智能体交互生成的数据进行更新，从而实现独立的专业化。

通过在独立的数据集上训练每个模型，说明了这种方法如何实现模型间的专业化和模型集的多样化。

因此，本文的整体系统能够保留多样的推理链，并且在经过比单智能体自我改进方法更多轮的微调后实现自主提升。

本文在一系列推理任务中定量地说明了该方法的有效性。

二、背景

像 GPT-3.5 和 GPT-4 这样的大型语言模型在语言生成、理解、问答和翻译等方面取得了显著进展。

然而，这些模型受限于其训练数据，因为现有模型已经使用了互联网上的大量可用数据。

为了进一步提高 LLM 的性能，近期的研究集中在自我改进上，即让 LLMs 生成额外的合成数据并在其上进行训练。

一种方法是使用强大的现有前沿模型（如 GPT-4）生成额外的监督数据，但这种方法受限于前沿模型的固有质量，并且成本高昂，还可能受到法律限制。

另一种方法是直接利用现有语言模型生成额外的合成数据进行自我改进，但随着模型的重复训练，性能提升往往会很快达到平台期，因为多样性会降低，而且自我改进循环通常只能进行两到三轮。

三、贡献

1. 提出利用多智能体交互作为语言模型自我改进的一种方法。
2. 提出将模型专门化为具有不同角色，以实现智能体之间的详细反馈并提高最终输出质量。
3. 在开源和专有语言模型的一系列推理任务中定量验证了该方法的适用性。
4. 证明了经过微调的智能体可以以零样本方式在不同数据集上进行泛化。

四、技术方案

4.1 多智能体辩论

多智能体辩论涉及一系列 N 个语言模型智能体（可以是同一模型的特定副本或微调版本），每个智能体都负责生成给定问题的响应。

在生成初始响应后，智能体之间启动辩论轮次。

将其他智能体的响应进行连接和总结，每个智能体根据其先前的响应和其他智能体的总结响应构建新的响应。

最终结果由最后一轮辩论的输出通过多数投票决定。（见图 2：多智能体微调概述）

4.2 在生成数据上微调模型

4.3 微调多个生成和评估模型

4.4 多次微调迭代

微调后的模型能够通过多智能体辩论生成响应。

发现迭代应用多智能体微调可以实现持续学习和适应，随着时间的推移产生逐渐改进和更准确的响应。

（算法 1 详细描述了 L 次微调迭代的过程，其中收集微调生成模型数据的步骤标记为红色，微调评估模型的步骤显示为蓝色。）

4.5 推理

在推理时，有一组微调后的生成模型和一组微调后的评估模型。

在这些智能体之间进行多智能体辩论，每个生成智能体参与第一轮辩论，随后每个评估智能体在后续轮次参与。

每个智能体在每轮辩论中获取所有其他智能体的响应并生成新的响应。

发现总结其他智能体的响应有助于消除冗余信息并保留最重要的细节，从而进一步提高性能。

最终结果由最后一轮辩论的响应通过多数投票决定。（算法 2 提供了推理的伪代码。）

五、实验结果

1、实验设置

语言推理任务

在三个语言推理任务上评估了本文的方法和基线：算术、小学数学（GSM）和 MATH。

对于每个数据集，随机选择 500 个示例进行语言模型的微调，并选择 500 个预留问题进行评估。

通过比较生成的答案与真实答案来评估其正确性，并报告准确性和标准误差。（见表 1：本文方法和基线的定量结果）

基线

本文将所提出的方法与各种基线进行比较，包括：

• Base（使用单个语言模型处理输入和生成响应）
• Majority（基于多个智能体的多数投票选择响应）
• Debate（多智能体辩论基线）
• STaR（迭代微调语言智能体）
• Majority FT（结合多数投票和微调）

在所有多智能体设置中使用三个智能体，在所有辩论设置中进行两轮辩论以确保公平比较。

2、定量结果

本文的方法在仅进行一次微调迭代时就优于所有基线。

尽管 “STaR” 利用真实标签进行数据选择并进行多次微调迭代，但仍比本文的方法表现更差，本文的方法仅使用一次微调迭代且无法访问真实标签。

“Majority”、“Debate” 和 “STaR” 方法优于 “Base” 模型，表明多数投票、多智能体辩论和微调都有助于提高性能。

“Majority FT” 通过纳入微调过程提高了 “Majority” 的性能。

本文的方法仅在 500 个示例上进行微调，但在更具挑战性的数据集（如 GSM 和 MATH）上仍比基线有显著改进。

3、多次微调迭代

为了验证多次微调迭代的有效性，本文在 MATH 数据集上对 Mistral 和 Phi-3 两个开源模型进行了五次微调迭代的测试。

结果表明，本文的方法 “多智能体微调（Ours）” 随着时间的推移持续提高性能。

例如，Phi-3 的准确性从 58.8% 提高到 66.0%，Mistral 的准确性从 22.5% 提高到 28.2%。

本文的方法经过五轮微调比使用 Phi-3 和 Mistral 的表 1 中列出的最佳基线精度分别提高12.6% 和 9.31%。

相比之下，单智能体微调在一次微调迭代后性能达到饱和并随后开始下降，表明可能对生成的响应过度拟合。

（见图 1：多智能体微调在多次微调迭代中提高了推理性能）

六、结论

局限性：与单模型微调的现有工作相比，多智能体微调在训练和推理时成本更高，因为需要训练和运行模型的多个副本。

在开源模型上进行多智能体微调实验需要使用四个 H100 GPU 或四个 A100 GPU，模型占用 120GB - 240GB 的 GPU 内存，推理在多个 GPU 上需要 12 - 24 小时。

为了提高多智能体模型的训练时间，可以考虑在不同模型实例之间共享权重。

为了提高多智能体模型的推理时间，可以直接将辩论过程蒸馏到单个模型中或在微调中使用量化。

总结：提出了一种新颖的多智能体微调框架，显著提高了语言模型的性能和多样性。

通过采用具有不同角色的智能体社会，本文方法有效地改进了反馈机制和整体输出质量，缓解了单智能体自我改进方法固有的局限性。

该系统允许通过迭代微调实现自主自我改进，在一系列推理任务中带来了显著的性能提升。

重要的是，方法具有通用性，可应用于开源和专有 LLMs，确保了广泛的实用性和影响。

此外，可以与其他纳入人类反馈（如 RLHF 或 DPO）的微调方法集成，这留待未来的工作。

这项工作为语言模型增强的未来研究开辟了新的途径，并为该领域的进一步发展奠定了基础。

【源码链接】https://github.com/vsubramaniam851/multiagent-ft/tree/main

---

七、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】