[ACL 2024] Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning

Introduction

• Self-Distillation Fine-Tuning (SDFT). LLM 在下游任务上微调时，由于下游任务数据集分布与预训练数据集分布不一致，可能会导致 LLM 在其他通用任务上掉点 (distribution shift leads to catastrophic forgetting in general instruction-following capabilities and safety alignment)；为此，作者提出 Self-Distillation Fine-Tuning (SDFT)，通过让 LLM 改写下游任务数据集的问题答案来使得下游任务数据集分布与预训练数据集分布对齐，从而缓解 LLM 微调过程中的遗忘问题，可以看作是一种 LLM 自蒸馏方法
  为了保证改写后的答案是正确的，作者会对比原答案和改写后答案的一致性，如果不一致则仍然使用原答案；例如对于数学推理任务，只有当改写的最终答案是正确时才会采取改写后的答案
  
• Distillation Template. 改写答案的 prompt 模板如下所示；数学推理类问题的模板可以参考附录 B
  

Experiments

• SDFT Achieves Better Results on Downstream Tasks.
  
• SDFT Preserves Alignment.
• General Knowledge Remains Intact.
  
• Analysis. (1) Distribution Shift Correlates with Catastrophic Forgetting. 随着下游微调数据量的增加，模型的遗忘程度加剧 (Figure 5)，同时输出内容逐渐与原始 LLM 偏离 (Figure 6). 量化 distribution shift 时，作者统计了微调后 LLM 输出的 BLUE-4 和 ROUGE-L 得分 (原始 LLM 的输出作为 reference answer)、Sentence-BERT 计算的微调前后 LLM 输出的句子相似度以及微调前后参数间的距离
  而 SDFT 可以有效抑制 distribution shift，从而缓解模型遗忘 (有点像是某种正则化，使得微调过程不要过度改变模型参数) (mix ratio 代表多少比例的数据使用 SDFT 构造的数据)
  (2) Robustness among Distillation Templates. 把 prompt 模板里的 “Using the reference answer as a guide” 换成 “Refer to the reference answer” 也不会产生很大的精度损失
  (3) Efficacy of SDFT Across Model Scales and Architectures.
  

References

• Yang, Zhaorui, et al. “Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning.” arXiv preprint arXiv:2402.13669 (2024).
• code: https://github.com/sail-sg/sdft