使用DPO微调 Mistral-7b 模型

 预训练的大型语言模型(LLMs)仅能执行下一个词预测任务，这使得它们无法直接回答问题。因此需要对这些基础模型进行指令-答案对的微调，使其成为有用的助手。但这一过程仍可能存在缺陷：经过微调的 LLMs 可能存在偏见、毒性或危害性等问题。这正是人类反馈强化学习(RLHF)的用武之地。

RLHF 会为 LLM 提供不同答案，这些答案根据期望行为(有用性、毒性等)进行排序。模型通过学习输出候选答案中的最佳选项，从而模仿我们期望灌输的行为模式。虽然常被视为审查模型的手段，但该流程近期已成为提升模型性能的热门方法，如 neural-chat-7b-v3-1 所展示的那样。

在本文中，我们将通过使用类似 RLHF 的技术——直接偏好优化（DPO）来微调 OpenHermes-2.5，从而创建 NeuralHermes-2.5 模型。为此，我们将引入偏好数据集，阐述 DPO 算法的工作原理，并将其应用于我们的模型。我们将看到这种方法能显著提升基础模型在 Open LLM 排行榜上的表现。

🥇 偏好数据集