大语言模型培训之FuseLLM：大语言模型的知识融合

深度学习自然语言处理 原创作者：wkk

论文：KNOWLEDGE FUSION OF LARGE LANGUAGE MODELS地址：https://arxiv.org/pdf/2401.10491.pdfgit: https://github.com/fanqiwan/FuseLLM

小伙伴们好久没见，今天为大家介绍中山大学联合腾讯人工智能实验室的最新研究论文，关于整合LLM知识能力的框架。

当进行LLM工作时，如果从头开始训练LLM可以生成具有不同功能和优势的模型，但这会带来巨大的成本，并可能导致冗余功能。或者使用一种具有成本效益和说服力的方法是将现有的预先训练的LLM合并到一个更有效的模型中。然而，由于已有LLM的架构各不相同，直接混合它们的权重是不切实际的。

在本文中，引入了LLM的知识融合概念，旨在将现有LLM的能力结合起来，并将其转移到单个LLM中。通过利用源LLM的生成分布，将其集体知识和独特优势外部化，从而有可能将目标模型的能力提升到任何单个源LLM之外。

随着GPT和LlaMA系列等大型语言模型在各种自然语言处理任务中的不断成功，创建自己的LLM已成为企业的战略当务之急。然而，LLM开发的相关成本是天文数字。除了需要大量的训练数据、先进的技术、大量的计算资源和熟练的劳动力外，开发过程还对能源消耗和环境施加了巨大压力。

上图展示了

传统模型融合技术

和本文的

LLM知识融合方法

(FUSELLM)的对比。不同的动物图标代表不同的LLM。FUSELLM能将多个LLM外部知识融合，并将它们的能力转移到目标LLM。

LLM融合的主要目标是将嵌入多个源LLM中的集体知识外部化，并将其能力集成到目标LLM中。

上表展示了FuseLLM的算法过程，其主要实现细节依赖于token对齐和具体的融合策略。

上表展示了与BBH上的基线方法相比，FuseLLM的总体结果。可以观察到：

上表展示了FuseLLM和Common Sense (CS)基准上基线方法的零样本性能。结果表明：

对于代码生成评估，FuseLLM在 MultiPL-E(ME)基准上的零样本性能如上表所示。观察到：

本文研究了从多个LLM获得的融合概率分布的有效性，并跟踪了训练过程中性能改进的趋势。

上图显示了Llama-2 CLM和FuseLLM在BBH上不同规模的训练数据下的few-shot CoT性能的比较。结果表明：

这些结果表明，从LLM导出的概率分布包含比原始文本序列更容易学习的知识，加速了优化过程。

本文还对FuseLLM的关键元素进行分析包括：源LLM的数量、token对齐标准以及融合函数的选择。

知识蒸馏技术也可以用来增强LLM的能力，但FuseLLM由于两个不同的方面而脱颖而出，本文从Llama-2 13B 中提取概率分布，并应用传统的知识蒸馏方法将其能力转移到Llama-2 7B中。如上表所示：

本文进行了实验，模拟多个LLM来自同一个基本模型，但在不同的语料库上进行训练的场景。

上表结果中观察到，在使用10亿个token进行训练后，原始LLM的能力会转移到每个特定领域的LLM，导致其他领域的性能下降。虽然所有的融合技术都可以集成不同模型的优势，但FuseLLM在三个领域中始终实现最低的困惑程度。这突出了它比集合和权重合并方法更有效地利用集体知识的潜力。

在这项研究中，探索了LLM的知识融合领域，以创建一个统一的模型，将多个结构不同的LLM的能力和独特优势相结合。并介绍了一种新的方法：FuseLLM，它利用这些源LLM的生成分布来外部化它们的知识，并将它们用于目标LLM的持续训练。一系列实验证明了FuseLLM相对于单个源LLM的优越性，并建立了基线。LLM融合领域成为一种更有前景的探索途径，特别是考虑到了LLM的不同结构和大量模型大小。