自蒸馏技术在语言模型微调中的桥梁作用

• 论文：https://arxiv.org/pdf/2402.13669
• 代码：https://github.com/sail-sg/sdft
• 机构：浙江大学、Sea AI Labs和腾讯
• 领域：模型微调
• 发表：ACL2024

这篇论文的标题是《Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning》，作者们探讨了在对大型语言模型（LLMs）进行微调（fine-tuning）以适应特定任务时遇到的挑战，尤其是如何在提升任务性能的同时保留模型的通用指令遵循能力。论文提出了一种新颖的微调方法——自蒸馏微调（Self-Distillation Fine-Tuning，简称SDFT），旨在通过引导微调过程使用模型自身生成的、与其原始分布相匹配的蒸馏数据集来弥合任务数据集和LLMs之间的分布差异。

摘要（Abstract）

• 大型语言模型（LLMs）在自然语言处理（NLP）领域取得了突破性进展，但微调这些模型以适应特定任务时，常常难以平衡性能和保持通用指令遵循能力。在本文中，认为任务数据集和LLM之间的分布差距是主要原因。
• 论文提出自蒸馏微调（SDFT）方法，通过模型自身生成的数据集来指导微调，以减少灾难性遗忘（catastrophic forgetting）并保持模型的有用性和安全性。

重写后的response错了怎么办？文章使用了一个简单的策略。对比原本的response和重写后的response中的答案部分，如果不同就仍然使用原本的response。比如，在math reasoning问题上，可以用正则表达式从response中抽取最终的答案，然后比较重写前后的答案是否相同。

• 实验结果表明SDFT在多个基准测试中有效，与普通微调相比，SDFT在下游任务上取得了可比或更优越的性能。

引言（Introduction）

• 介绍了大型语言模型（如GPT-3和PaLM）的发展背景和它们在预训练阶段使用大量文本语料库的能力。
• 提出了监督微调（Supervised Fine-Tuning，SFT）的概念，以及它在提高模型指令遵循能力方面的潜力。
• 讨论了SFT可能导致的灾难性遗忘问题，以及如何通过SDFT来解决这一问题。

相关工作（Related Work）

• 讨论了微调在不同领域的应用，以及持续学习（Continual Learning）领域的相关研究，这些研究旨在减少在适应新数据分布时对旧知识的遗忘。
• 强调了大型语言模型在生成内容时可能带来的安全问题，并提出了一些对齐策略来确保模型遵循人类伦理标准。

方法（Method）

• 详细描述了微调LLMs的过程，以及SDFT方法的具体实现细节。
• 介绍了自蒸馏模板（Distillation Template）的设计和应用，这是一种任务独立的模板，可以跨不同任务使用。

实验（Experiments）

• 描述了实验设置，包括使用的种子模型（Llama-2-7b-chat）和数据集。
• 展示了SDFT在多个下游任务上的性能，并与普通微调进行了比较。

• 评估了两种方法对模型安全性、一般知识和有用性的影响。

分析（Analysis）

• 对分布偏移和灾难性遗忘之间的关系进行了深入分析，并使用补充指标来评估分布偏移的程度。
• 微调数据规模的影响：数据越多，模型的分布改变越大，下降越明显。
• 混合原本的数据集和重写后的数据集：重写数据集比例越大，越能缓解性能的下降。
• Llama-2-13B、Llama-3-8B上的实验：结论差不多。

结论和局限性（Conclusions and Limitations）

• 总结了SDFT方法在减少灾难性遗忘和保持模型广泛能力方面的优势。
• 讨论了研究的局限性，包括计算资源的限制和安全评估的范围。