Evolutionary Optimization of Model Merging Recipes

本文是LLM系列文章，针对《Evolutionary Optimization of Model Merging Recipes》的翻译。

摘要

我们提出了一种进化算法的新应用，以自动创建强大的基础模型。虽然由于其成本效益，模型合并已成为LLM开发的一种很有前途的方法，但它目前依赖于人类的直觉和领域知识，限制了其潜力。在这里，我们提出了一种进化方法，通过自动发现各种开源模型的有效组合，利用它们的集体智慧，而不需要大量额外的训练数据或计算，来克服这一限制。我们的方法在参数空间和数据流空间中运行，允许优化超出单个模型的权重。这种方法甚至有助于跨领域合并，生成具有数学推理功能的模型，如日本LLM。令人惊讶的是，我们的日本数学LLM在各种已建立的日本LLM基准上实现了最先进的性能，甚至超过了参数明显更多的模型，尽管没有针对此类任务进行明确的训练。此外，通过我们的方法生成的具有文化意识的日本VLM证明了其在描述日本文化特定内容方面的有效性，优于以前的日本VLM。这项工作不仅为开源社区贡献了新的最先进的模型，还引入了一种新的自动化模型组合范式，为探索替代的、高效的基础模型开发方法铺平了道路。

1 引言

2 背景和相关工作

3 方法