北航等机构发布最新综述：大语言模型集成（LLM Ensemble）

朝阳区靓仔_James

于 2025-04-22 10:39:44 发布

阅读量878

点赞数 12

文章标签：语言模型人工智能自然语言处理知识图谱 fastapi windows lstm

本文链接：https://blog.csdn.net/weixin_58753619/article/details/147411467

版权

LLM Ensemble（大语言模型集成）在近年来快速地获得了广泛关注。它指的是在下游任务推理阶段，综合考虑并利用多个大语言模型（每个模型都旨在处理用户查询），从而发挥它们各自的优势。大语言模型的广泛可得性，以及其开箱即用的特性和各个模型所具备的不同优势，极大地推动了LLM Ensemble领域的发展。

论文： Harnessing Multiple Large Language Models: A Survey on LLM Ensemble
链接： https://arxiv.org/abs/2502.18036
GitHub： https://github.com/junchenzhi/Awesome-LLM-Ensemble

本文系统性地回顾了LLM Ensemble领域的最新进展。首先，我们介绍了LLM Ensemble的分类法，并讨论了几个相关的研究问题。然后，我们把"推理前集成、推理中集成、推理后集成"这三大范式下的各种方法划分为七大类，并回顾了所有相关方法。最后，我们介绍了相关的基准测试集和典型应用，总结和分析了现有的研究成果，并提出了若干值得关注的未来研究方向。

相关关键词：大语言模型集成（LLM Ensemble），大模型集成（Large Model Ensemble, Foundation Model Ensemble），集成学习（Ensemble Learning），知识融合（Knowledge Fusion）

1. 引言

近年来，人工智能领域的格局因大型语言模型（LLM）的飞速发展而发生了深刻变化，代表性的模型包括Gemini、GPT-4、Llama，以及最近推出的DeepSeek。这些LLM的成功持续激发着广泛的研究热情。目前，在Hugging Face平台上，可以访问的大语言模型数量已经超过了182,000个。然而，在这股研究热潮背后，我们可以观察到两个主要方面： 1) LLM的直接开箱即用能力（零样本推理）和间接开箱即用能力（基于In-Context Learning的少样本推理）仍引发着人们在性能方面的担忧，如准确性不足、幻觉（Hallucinations）频发以及与人类意图不对齐等；2) 不同的LLM在擅长领域、推理成本与效率方面差异显著，这源于其在模型架构、参数量、分词策略、训练数据等方面的不同设计。面对同一个用户查询，不同模型的输出经常表现出较大差异（并且不同的模型常常伴随着不同的推理成本）。

考虑到上述两个方面，并借鉴集成学习的精神，我们自然地可以考虑一种解决问题的思路：对于每一个任务查询，与其持续依赖某个"基于公共排行榜或其他指标挑选出的"单一固定LLM，不如同时考虑多个可以开箱即用的LLM候选模型，以充分发挥它们的各自优势。实际上，这正是近年来新兴的LLM Ensemble领域所探索的内容。

现有的LLM Ensemble方法可以根据"LLM推理"和"集成"的先后顺序而分为三大范式：1) 推理前集成方法：在LLM执行推理前，利用给定的用户查询信息并结合各个LLM的不同特性，选择出最合适的模型以进行推理（此方法在本质上类似于集成学习中的硬投票策略）；2) 推理时集成方法：在大语言模型解码过程中（即在推理过程中），聚合来自多个LLM的不完整响应（例如，token级别的信息或者是固定2个words长度的信息），并将聚合结果反馈给所有模型以进行下一个循环；3) 推理后集成方法：在所有LLM候选或其某个子集生成完整响应（而非片段）后进行集成。比如，在所考虑的所有LLM输出所有响应后，综合考虑它们的所有回复以生成最终的独一份的回复信息。

尽管基于上述三大范式，近年来衍生出了大量方法，但目前仍缺乏一篇正式的综述文章以对快速发展的LLM Ensemble领域中的研究方向进行系统梳理和深入分析。本文系统性地回顾了LLM Ensemble领域的最新进展，分别讨论了分类法、相关问题、方法、基准、应用和未来方向。我们希望这篇综述能够为研究人员提供全面的回顾，并激发进一步的探索。

各类LLM Ensemble方法的示意图（请注意：对于(b) Ensemble-during-inference，还存在(b,3)process-level ensemble方法。我们并没有在此图中画出这类方法，因为考虑到排版问题以及目前这类方法只存在一个实例化的方法。

2. LLM Ensemble方法分类与相关研究问题

2.1 LLM Ensemble方法分类

本节将正式介绍LLM Ensemble分类体系，对应的示意图和各类方法下的研究工作见图1和图2。如上文所述，当前的LLM Ensemble方法可以分为以下3大类范式（关于对此三大范式的划分，我们采用了文献[2]的划分方法）与7大类方法：

(a) 推理前集成（Ensemble before inference）方法。 该类方法的核心思想是，在LLM进行推理之前，先通过路由算法将具体任务查询分配给最合适的模型，以实现更专业、更高效的推理过程。如图1和图2所示，根据是否需要使用预先定制的数据以进行预训练，该类方法可细分为以下两类：
- (a1) 预训练路由器（pretrained router）
- (a2) 非预训练路由器（non-pretrained router）
(b) 推理时集成（Ensemble during inference）方法。 这是三大类中最细粒度的集成方式。需要注意的是，此类方法通常会将中间"集成结果"拼接上上文信息并再次输送给所有模型，以进行下一轮处理。此类方法可细分为以下三类：
- (b1) 分词级集成（token-level ensemble）方法。 在解码过程中，此类方法将多个模型生成的token级别输出信息进行集成，以生成最终的独一份信息；
- (b2) 片段级集成（span-level ensemble）方法。 此类方法类似于上述的token-level ensemble方法，并且以若干个单词所形成的片段为单位来进行集成；
- (b3) 过程级集成（process-level ensemble）方法。 针对复杂的推理任务，此类方法逐步在推理链中选择最优的中间步骤路径，即在每一步的推理过程中去集成来自多个模型的多份输出信息。
© 推理后集成（Ensemble after inference）方法。 这类方法可以进一步分为以下两类：
- (c1) 非级联（Non-cascade）方法。 此类方法直接整合多个LLM候选生成的完整回复，以进行集成。在集成过程中，此类方法要么是利用算法分析并挑选出一份最优回复，要么是利用另外一个大模型来进行再次生成；
- (c2) 级联（Cascade）方法。 在综合考虑性能和推理成本的基础上，此类方法按照模型规模等标准对多个LLM候选进行排序并进行依次推理，直到得到最合适的回复为止，从而终止整个推理流程。

各类LLM Ensemble方法下的研究工作

2.2 相关研究问题

Ensemble Learning与Model Merging的示意图（图片来自文献[1]；请注意，子图b中对应了LLM Ensemble中的一类典型方法，即"推理后集成方法"中的"(c1)非级联方法"。

如图3所示，大语言模型融合（LLM Merging，LLM Fusion）[1]指的是在无需原始训练数据的前提下，将多个大语言模型的参数进行融合，从而构建一个统一的模型。这种方法与LLM Ensemble密切相关，因为它们都强调知识的融合与迁移。

大语言模型协作（LLM Collaboration）[2][3]则是通过利用每个模型的不同优势，以更加灵活的方式完成任务。与LLM Ensemble不同，LLM Collaboration方法并不将所有模型平等地直接用于用户查询，而是为每个模型分配不同的角色，并通过交换不同模型所生成的响应信息来提升效果。

弱监督学习（Weak Supervision）[4][5]，又被称为众包学习与群智监督学习（Learning from Crowds）[6]，主要利用"来自多弱标注源所提供的弱标签信息"来实施关于真值标签的真值推理与后续的基于推理后标签的学习（这对应于LLM Ensemble中的"(c1)非级联方法"），或者直接用弱标签信息来进行端对端学习以获得分类器。然而，目前关于此类方法的研究主要集中在分类任务上，而不是通用的生成任务。

3 方法

此部分可详见论文。我们在论文中对7类LLM Ensemble方法（即图1和图2中所示的a1、a2、b1、b2、b3、c1、c2）对应的各个研究工作进行了深入分析，并在其中尽可能地对方法进行进一步的细化分类。比如，对于"© 推理后集成（Ensemble after inference）方法"，我们又根据方法是否需要在下游任务中的监督学习而进行进一步的分类和分析（如图4所示）。

对推理后集成（Ensemble after inference）方法中的各个研究工作的归纳性总结

4 讨论

4.1 总结性分析

我们在论文中对7类LLM Ensemble方法进行了总结性分析。如图5所示，分析主要从三个核心维度展开：集成策略、集成粒度和集成目标。

从集成策略的角度来看，聚合式（Aggregation）方法（如对所有模型输出进行平均或加权融合）相较于挑选式（Selection）方法（即从多个输出中选出一个，类似于硬投票）要更为复杂。另外，再生成式（Regeneration）方法通常需要额外准备大量特定的训练数据并再次微调一个大模型，因而成本更高。

从集成粒度的角度来看，响应级（Response-level）集成方法属于粗粒度集成。而细粒度的集成方法（包括Token-level和Span-level的集成方法），特别是token级集成方法，在模型解码阶段可以更精细地利用各个模型的输出概率分布，从而增强集成效果。

最后，从集成目标的角度来看，“(b)推理时集成方法"和”(c1)非级联式推理后集成方法"因不受推理成本限制，通常能够采用更加灵活的集成策略（即可以不依赖于基于挑选式的集成策略），并引入更细粒度的融合方式，最终具有更强的性能提升潜力。

对7大类LLM Ensemble方法的总结性分析

4.2 未来研究方向

更具有原则性的"片段级推理时集成方法"。当前基于片段（span）的"推理时集成方法"已经能够提供足够细致的集成粒度（如考虑基于2个words的跨度），具备较强的性能提升潜力。然而，现有的片段划分方法仍然过于简单和生硬，比如固定地将每个片段设定为2个words。如果能够引入更具理论依据的或更灵活的片段划分策略，将有望为后续的集成过程提供更丰富、更具信息量的响应片段，从而提升整体效果。
更精细化的、无监督的"非级联推理后集成方法"。在某些情况下，在多个模型的解码阶段而频繁调用多个模型的输出分布并不可行。此时，"非级联推理后集成"是一种非常实用的方法：它通过融合多个模型的完整输出来生成最终的回复信息。然而，目前方法存在两个局限：它们在集成过程中要么仅简单考虑模型输出之间的成对相似性度量，而未充分捕获各自的语义信息；要么需要引入了一个额外的、需要有监督学习的生成模型，牺牲了泛化性。因此，研究并提出更精细化的、无监督的"非级联推理后集成方法"具有重要意义。
更通用的"级联式推理后集成方法"。相比于"推理前集成"策略，当前的"级联式推理后集成方法"在考虑推理成本的同时，还具备一个优势：即可以在推理过程中利用已有的模型回复信息而动态地选择最合适的输出。然而，现有的大多数级联方法并不适用于生成类任务，且唯一面向生成任务的方案也依赖于有监督学习，从而丢失了泛化性。因此，开发适用于生成任务的通用型无监督"级联式推理后集成方法"将是该领域的一个重要突破。

5 总结

LLM Ensemble（大语言模型集成）是集成学习在大语言模型时代的直接体现。大语言模型的易获取性、开箱即用的特性与多样性，使得集成学习的思想在当前的LLM Ensemble研究领域中更具有活力。本综述论文对LLM Ensemble领域中的7大类方法进行了全面的梳理与总结。我们希望这篇综述能为相关研究人员提供有价值的参考，并激发更多在LLM Ensemble及其相关领域的深入探索。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述