MIT：LLM领域适配的微调策略探索

📖标题：Fine-tuning large language models for domain adaptation: Exploration of training strategies, scaling, model merging and synergistic capabilities
🌐来源：arXiv, 2409.03444

摘要

🔸本文探讨了继续预训练（CPT）、监督微调（SFT）以及各种基于偏好的优化方法（包括直接偏好优化（DPO）和赔率比偏好优化（ORPO））对精细调整的大型语言模型（LLM）性能的影响。我们的分析显示了这些策略如何影响模型结果，并揭示了合并多个精细调整模型可以导致超越父模型个体贡献的能力的出现。
🔸我们发现，模型合并会产生新的功能，父模型单独无法实现，从而在特定领域的评估中提高性能。文章还介绍了不同模型结构的实验，包括Llama 3.1 8B和Mistral 7B模型，观察到了类似的行为。通过使用具有17亿参数的微小LLM，我们研究了结果是否也适用于更小的模型，并表明在模型合并下，非常小的LLM不一定具有新的能力，这表明模型缩放可能是一个关键因素。我们的评估揭示了不同模型变体的表现，并显示最小模型在包括推理深度、创造力、清晰度和定量精度等关键标准上实现了高智能得分。此外，文章还包括根据不同的生物材料设计概念开发图像生成提示的实验，以创建基于生物材料灵感的建筑原理的新微结构、建筑概念和城市设计。

🛎️文章简介

🔸研究问题：在大语言模型（LLM）的领域适配中，如何通过微调策略和优化方法来提升模型在特定领域的表现，同时保留早期训练阶段学到的能力？
🔸主要贡献：论文系统地探索了多种微调策略（如CPT、SFT、DPO、ORPO）对LLM性能的影响，并评估了模型大小和能力对微调效果的影响。

📝重点思路

🔺相关工作

🔸模型应用：对跨尺度、领域的知识进行系统性探索，以协同解决使用多模式的推理引擎，一个理由是LLM已经表现出了整合不同概念的强大能力。
🔸领域适配：赋予模型新知识的策略，同时保留早期训练阶段学到的能力。受限于成本和原始数据集不可用，从头开始训练模型是不可行的，常用策略是LoRA。
🔸训练方式：通过监督微调（SFT）让模型适应特定任务，基于偏好的优化策略如DPO、ORPO等对齐人类期望。
🔸模型整合：多个不同训练的模型被组合起来，参数之间产生高度非线性的相互作用，创建一个更优越、具有新能力的模型。

🔺论文方案

🔸基线流程：基础模型经过持续预训练(CPT)、监督微调(SFT)，然后使用直接偏好优化(DPO)或优势比偏好优化(ORPO)等方法进行优化以生成经过训练的模型。
🔸优化流程：在CPT、SFT和偏好优化（如DPO、ORPO）之后，通过将模型与另一个微调模型（如通用模型）合并来进一步增强模型。
🔸合并策略：主要研究了球面线性插值（SLERP）的模型合并方法，通过在参数空间中进行非线性插值来增强模型间的非线性交互。
🔸实验设计：在多个LLM上进行了实验，比较了不同微调策略对模型性能的影响
🔸模型评估：通过聚类分析评估了合并模型在不同任务上的表现，并标准化了性能分数以进行跨模型比较。

🔎分析总结

🔸SLERP的有效性：SLERP在模型合并中表现出色，能够通过非线性插值增强参数间的非线性交互，从而解锁新功能。
🔸模型规模的影响：SLERP在大型模型中能够显著解锁新功能，而在较小模型中则效果不明显。
🔸微调策略的影响：复杂和全面的微调策略能够显著提升模型性能，而简单策略则效果较差。
🔸跨领域应用：还展示了SLERP在图像生成和材料设计等跨领域应用中的潜力。

💡个人观点

论文的核心是通过SLERP模型合并，并验证了其在提升LLM性能和解锁新功能方面的有效性。

附录