ArXiv 2025 | 北航等机构发布最新综述：大语言模型集成（LLM Ensemble）

1、引言

LLM Ensemble（大语言模型集成）是一种新兴技术。它指的是在下游任务推理阶段，综合考虑并利用多个大语言模型（每个模型都旨在处理用户查询），从而发挥它们各自的优势。

本文系统性地回顾了LLM Ensemble领域的最新进展。首先，本文介绍了LLM Ensemble的分类法，并讨论了几个相关的研究问题。然后，本文把"推理前集成、推理中集成、推理后集成"这三大范式下的各种方法划分为七大类，并回顾了所有相关方法。最后，介绍了相关的基准测试集和典型应用，总结和分析了现有的研究成果，并提出了若干值得关注的未来研究方向。

相关关键词：大语言模型集成（LLM Ensemble），大模型集成 （Large Model Ensemble, Foundation Model Ensemble），集成学习（Ensemble Learning），知识融合（Knowledge Fusion）

论文：https://arxiv.org/abs/2502.18036 

代码：https://github.com/junchenzhi/Awesome-LLM-Ensemble

2、背景介绍

人工智能领域因大型语言模型(LLM)的发展而深刻变化。虽然Hugging Face上已有超过182,000个大语言模型，但这些模型面临两个主要问题：

• 1）LLM的直接开箱即用能力（零样本推理）和间接开箱即用能力（基于In-Context Learning的少样本推理）仍引发着人们在性能方面的担忧，如准确性不足、幻觉（Hallucinations）频发以及与人类意图不对齐等；

• 2) 不同的LLM在擅长领域、推理成本与效率方面差异显著，这源于其在模型架构、参数量、分词策略、训练数据等方面的不同设计。面对同一个用户查询，不同模型的输出经常表现出较大差异（并且不同的模型常常伴随着不同的推理成本；

借鉴集成学习思想，LLM Ensemble提供了一种新思路：对于每一个用户查询任务，并不依赖于固定的某一个模型，而是同时考虑多个LLM候选模型，以综合利用它们的各自优势。

图1: 各类LLM Ensemble方法的示意图（请注意：对于(b) ensemble-during-inference，还存在(b,3)process-level ensemble方法。我们并没有在此图中画出这类方法，因为考虑到排版问题以及目前这类方法只存在一个实例化的方法。）

现有的LLM Ensemble方法可以根据"LLM推理"和"集成"的先后顺序而分为三大范式：

• 「推理前集成」：在LLM执行推理前，利用给定的用户查询信息并结合各个LLM的不同特性，选择出最合适的模型以进行推理（此方法在本质上类似于集成学习中的硬投票策略）；

• 「推理时集成」：在大语言模型解码过程中（即在推理过程中），聚合来自多个LLM的不完整响应（例如，token级别的信息或者是固定2个words长度的信息），并将聚合结果反馈给所有模型以进行下一个循环；

• 「推理后集成」： 在所有LLM候选或其某个子集生成完整响应（而非片段）后进行集成。

基于上述三大范式，近年来衍生出了大量LLM Ensemble方法。本文系统性地回顾了LLM Ensemble领域的最新进展，分别讨论了分类法、相关问题、方法、基准、应用和未来方向。我们希望这篇综述能够为研究人员提供全面的回顾，并激发进一步的探索。

3、LLM Ensemble分类及相关研究问题

LLM Ensemble方法分类

本节将正式介绍LLM Ensemble分类体系，对应的各类方法如下图所示：

图2:  各类LLM Ensemble方法下的研究工作

如图1和图2所示，当前的LLM Ensemble方法可以分为以下3大类范式与7大类方法：

「(a)推理前集成方法」 该类方法的核心思想是，在LLM进行推理之前，先通过路由算法将具体任务查询分配给最合适的模型，以实现更专业、更高效的推理过程。如图1和图2所示，根据是否需要使用预先定制的数据以进行预训练，该类方法可细分为以下两类：

• (a1)预训练路由器（pretrained router）

• (a2)非预训练路由器（non-pretrained router）

「(b)推理时集成方法」 这是三大类中最细粒度的集成方式。需要注意的是，此类方法通常会将中间"集成结果"拼接上上文信息并再次输送给所有模型，以进行下一轮处理。此类方法可细分为以下三类：

• (b1)分词级集成（token-level ensemble）方法：在解码过程中，此类方法将多个模型生成的token级别输出信息进行集成，以生成最终的独一份信息；

• (b2)片段级集成（span-level ensemble）方法：此类方法类似于上述的token-level ensemble方法，并且以若干个单词所形成的片段为单位来进行集成；

• (b3)过程级集成（process-level ensemble）方法：针对复杂的推理任务，此类方法逐步在推理链中选择最优的中间步骤路径，即在每一步的推理过程中去集成来自多个模型的多份输出信息。

「(c) 推理后集成方法。」 这类方法可以进一步分为以下两类：

• (c1) 非级联方法：此类方法直接整合多个LLM候选生成的完整回复，以进行集成。在集成过程中，此类方法要么是利用算法分析并挑选出一份最优回复，要么是利用另外一个大模型来进行再次生成；

• (c2) 级联方法：在综合考虑性能和推理成本的基础上，此类方法按照模型规模等标准对多个LLM候选进行排序并进行依次推理，直到得到最合适的回复为止，从而终止整个推理流程。

相关研究问题

图3为Ensemble Learning与Model Merging的示意图，其中子图b中对应了LLM Ensemble中的一类典型方法，即"推理后集成方法"中的"(c1)非级联方法"。【源自论文Enneng Yang, et al. Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities. ArXiv 2024.】

如上图所示，「大语言模型融合（LLM Merging，LLM Fusion）」 指的是在无需原始训练数据的前提下，将多个大语言模型的参数进行融合，从而构建一个统一的模型。这种方法与LLM Ensemble密切相关，因为它们都强调知识的融合与迁移。

「大语言模型协作（LLM Collaboration）」 则是通过利用每个模型的不同优势，以更加灵活的方式完成任务。与LLM Ensemble不同，LLM Collaboration方法并不将所有模型平等地直接用于用户查询，而是为每个模型分配不同的角色，并通过交换不同模型所生成的响应信息来提升效果。

「弱监督学习（Weak Supervision）」 也称为众包学习或群智监督学习(Learning from Crowds)，主要利用"来自多弱标注源所提供的弱标签信息"来实施关于真值标签的真值推理与后续的基于推理后标签的学习（这对应于LLM Ensemble中的"(c1)非级联方法"），或者直接用弱标签信息来进行端对端学习以获得分类器。然而，目前关于此类方法的研究主要集中在分类任务上，而不是通用的生成任务。

4、LLM Ensemble方法

此部分可详见论文，在论文中对7类LLM Ensemble方法（即图1和图2中所示的a1、a2、b1、b2、b3、c1、c2）对应的各个研究工作进行了深入分析，并在其中尽可能地对方法进行进一步的细化分类。

比如，对于"(c) 推理后集成（Ensemble after inference）方法"，我们又根据方法是否需要在下游任务中的监督学习而进行进一步的分类和分析。

下图为对推理后集成（Ensemble after inference）方法中的各个研究工作的归纳性总结

图4: 对推理后集成（Ensemble after inference）方法中的各个研究工作的归纳性总结

5、总结分析及未来研究方向

总结性分析

我们在论文中对7类LLM Ensemble方法进行了总结性分析。如图5所示，分析主要从三个核心维度展开：集成策略、集成粒度和集成目标。

从「集成策略」的角度来看，聚合式（Aggregation）方法（如对所有模型输出进行平均或加权融合）相较于挑选式（Selection）方法（即从多个输出中选出一个，类似于硬投票）要更为复杂。另外，再生成式（Regeneration）方法通常需要额外准备大量特定的训练数据并再次微调一个大模型，因而成本更高。

从「集成粒度」的角度来看，响应级（Response-level）集成方法属于粗粒度集成。而细粒度的集成方法（包括Token-level和Span-level的集成方法），特别是token级集成方法，在模型解码阶段可以更精细地利用各个模型的输出概率分布，从而增强集成效果。

最后，从「集成目标」的角度来看，"(b)推理时集成方法"和"(c1)非级联式推理后集成方法"因不受推理成本限制，通常能够采用更加灵活的集成策略（即可以不依赖于基于挑选式的集成策略），并引入更细粒度的融合方式，最终具有更强的性能提升潜力。

下图为对7大类LLM Ensemble方法的总结性分析

图5: 对7大类LLM Ensemble方法的总结性分析

未来研究方向

「1-更具有原则性的"片段级推理时集成方法"」 现有基于片段(span)的推理时集成方法已能提供细致的集成粒度(如2个words的跨度)，具有较强的性能提升潜力。

然而，当前片段划分策略过于简单和生硬，如固定将每个片段设为2个words。引入更具理论依据或更灵活的片段划分策略，有望提供更丰富、更具信息量的响应片段，从而提升整体效果。

「2-更精细化的、无监督的"非级联推理后集成方法"」 在无法频繁调用多个模型输出分布的情况下，非级联推理后集成是一种实用方法，它通过融合多个模型的完整输出生成最终回复。

然而，目前方法存在两个局限：它们在集成过程中要么仅简单考虑模型输出之间的成对相似性度量，而未充分捕获各自的语义信息；要么需要引入了一个额外的、需要有监督学习的生成模型，牺牲了泛化性。因此，研究并提出更精细化的、无监督的"非级联推理后集成方法"具有重要意义。

「3-更通用的"级联式推理后集成方法"」 相比推理前集成策略，级联式推理后集成方法具有双重优势：既考虑推理成本，又能在推理过程中利用已有的模型回复信息而动态地选择最合适的输出。

然而，现有的大多数级联方法并不适用于生成类任务，且唯一面向生成任务的方案也依赖于有监督学习，从而丢失了泛化性。因此，开发适用于生成任务的通用型无监督"级联式推理后集成方法"将是该领域的一个重要突破。

6、总结

LLM Ensemble（大语言模型集成）是集成学习在大语言模型时代的直接体现。大语言模型的易获取性、开箱即用的特性与多样性，使得集成学习的思想在当前的LLM Ensemble研究领域中更具有活力。「本综述论文对LLM Ensemble领域中的7大类方法进行了全面的梳理与总结。」 我们希望这篇综述能为相关研究人员提供有价值的参考，并激发更多在LLM Ensemble及其相关领域的深入探索。

 一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

 

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

*   大模型 AI 能干什么？
*   大模型是怎样获得「智能」的？
*   用好 AI 的核心心法
*   大模型应用业务架构
*   大模型应用技术架构
*   代码示例：向 GPT-3.5 灌入新知识
*   提示工程的意义和核心思想
*   Prompt 典型构成
*   指令调优方法论
*   思维链和思维树
*   Prompt 攻击和防范
*   …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

*   为什么要做 RAG
*   搭建一个简单的 ChatPDF
*   检索的基础概念
*   什么是向量表示（Embeddings）
*   向量数据库与向量检索
*   基于向量检索的 RAG
*   搭建 RAG 系统的扩展知识
*   混合检索与 RAG-Fusion 简介
*   向量模型本地部署
*   …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

*   为什么要做 RAG
*   什么是模型
*   什么是模型训练
*   求解器 & 损失函数简介
*   小实验2：手写一个简单的神经网络并训练它
*   什么是训练/预训练/微调/轻量化微调
*   Transformer结构简介
*   轻量化微调
*   实验数据集的构建
*   …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

*   硬件选型
*   带你了解全球大模型
*   使用国产大模型服务
*   搭建 OpenAI 代理
*   热身：基于阿里云 PAI 部署 Stable Diffusion
*   在本地计算机运行大模型
*   大模型的私有化部署
*   基于 vLLM 部署大模型
*   案例：如何优雅地在阿里云私有部署开源大模型
*   部署一套开源 LLM 项目
*   内容安全
*   互联网信息服务算法备案
*   …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】