阿里：LLM训练过程的差异化知识蒸馏

📖标题：DDK: Distilling Domain Knowledge for Efficient Large Language Models
🌐来源：arXiv, 2407.16154

🛎️文章简介

🔸研究问题：大语言模型（LLM）的知识蒸馏过程中，如何减少教师模型和学生模型在不同领域间的性能差异。
🔸主要贡献：论文提出了一种名为DDK的方法，根据教师和学生模型之间的领域性能差异，平滑地动态调整蒸馏数据集的组成，使得蒸馏过程更加稳定和有效。

📝重点思路

🔺相关工作

🔸LLM：标志着自然语言处理领域的一个重要里程碑，指令调优和通过人类反馈学习进一步对齐，但伴随着大量资源消耗。
🔸知识蒸馏：模型压缩和加速中的关键技术，主要用于将知识从强大的、训练有素的教师模型转移到紧凑的学生模型。

🔺论文方案

🔸构建初始数据集：从训练语料库中随机采样初始蒸馏数据。
🔸领域知识采样：均匀优化会导致潜在的性能下降，因此计算教师和学生模型在不同域的性能差异作为“域差异因子”，重点采样表现不佳的领域，从而动态更新数据混合。
🔸因子平滑更新：观察到域差异因子在整个过程中表现出显着的波动，为了避免训练过程中采样比例频繁变动，引入平滑系数来保证域采样概率的稳定性。

🔎分析总结

🔸教师模型在知识迁移时的匮乏表现，极大地阻碍了学生模型在复杂任务中的能力。
🔸不同类型的教师和学生模型，DDK都优于其他基线方法，缓解了域数据混合的性能瓶颈。
🔸不同领域的性能增益有所不同，在推理任务取得了显著的性能提升。

💡个人观点

领域知识学习的难易程度不同，论文考虑了平衡学习难度，并增强了训练过程的稳定性。

附录