本文是LLM系列文章,针对《Zephyr: Direct Distillation of LM Alignment》的翻译。
摘要
我们的目标是生成一个符合用户意图的较小的语言模型。先前的研究表明,在较大的模型上应用蒸馏监督微调(dSFT)可以显著提高任务的准确性;然而,这些模型是不一致的,即它们对自然提示的响应不好。为了蒸馏这一特性,我们使用来自人工智能反馈(AIF)的偏好数据进行了实验。从教师模型排序的输出数据集开始,我们应用蒸馏的直接偏好优化(dDPO)来学习具有显著改进的意图对齐的聊天模型。该方法只需要几个小时的训练,在微调过程中不需要任何额外的采样。最终结果ZEPHYR7B为7B参数模型设置了一个新的最先进的聊天基准,并且不需要人工注释。特别是,MT Bench上的结果表明,ZEPHYR-7B超过了基于RLHF的最佳开放接入模型LLAMA2-CHAT-70B。系统的代码、模型、数据和教程可在https://github.com/huggingface/alignment-handbook上找到.
1 引言
2 相关工作
3 方法
4 实验细节
5 结果和消融实验
6 结论和局限性
我们考虑了从LLM到较小预训练模型的比对蒸馏问题。该方法避免使用基于采样的方法,如拒绝采样或PPO,并从人工智能反馈数据集中蒸馏具有直接偏好优化&