从监督到偏好：SFT与DPO微调方法详解

最新推荐文章于 2025-04-04 19:53:42 发布

中年猿人

最新推荐文章于 2025-04-04 19:53:42 发布

阅读量898

点赞数 30

文章标签：人工智能自然语言处理大数据语言模型

本文链接：https://blog.csdn.net/2301_76161259/article/details/144910736

版权

SFT和DPO是两种用于大规模语言模型（如GPT系列）微调的算法，它们在优化目标、数据处理和应用场景上有不同的特点。以下是对这两种算法的详细介绍

前排提示，文末有大模型AGI-CSDN独家资料包哦！

一、Supervised Fine-Tuning

《HOW ABILITIES IN LARGE LANGUAGE MODELS ARE AFFECTED BY SUPERVISED FINE-TUNING DATA COM- POSITION》

https://arxiv.org/pdf/2310.05492.pdf

SFT 是一种传统的监督学习微调方法，它通过使用带标签的数据集对预训练模型进行微调。该方法的核心目标是调整模型的参数，使其在特定任务或数据集上表现更好。

1、SFT 常见微调步骤

数据准备：使用一个标注好的数据集，通常这些数据集包含输入-输出对，表示模型应该学习的映射关系。
目标函数：模型通过最小化预测结果与真实标签之间的损失（通常是交叉熵损失）来进行训练。这个过程使得模型能够更好地执行特定的任务，如文本分类、问答、文本生成等。
微调过程：在预训练的基础上，SFT 通过反向传播算法更新模型的参数，使得模型在特定任务上表现更佳。

2、优点

简单直观：作为一种传统的微调方法，SFT易于理解和实现。
高效性：对于特定任务，它通常能在短时间内获得较好的性能。
可控性强：通过标注数据进行监督学习，可以直接控制模型的行为。

3、缺点

依赖于标注数据：SFT需要大量的高质量标注数据，这对于某些领域可能比较困难或昂贵。
过拟合风险：如果微调数据量过小，模型可能会在训练数据上过拟合，导致泛化性能下降。

二、Direct Preference Optimization

《Your Language Model is Secretly a Reward Model》

https://arxiv.org/pdf/2305.18290

DPO 是一种新兴的优化方法，通常用于优化基于人类反馈的模型，尤其是在强化学习和偏好学习的背景下。DPO 主要用于训练模型使其能更好地符合用户偏好或更复杂的目标，而不仅仅是通过传统的监督学习来拟合固定的标签。DPO 方法的核心思想是直接优化模型对比不同候选答案的偏好。通常，它采用“人类反馈”或者“模型间反馈”来评估哪些输出更符合目标或更具价值。

1、DPO 常见的步骤包括

数据准备：在 DPO 中，通常会收集一组对话或生成的候选答案，并通过人类标注或自动化评估机制来确定这些答案的优劣。
偏好对比：模型的训练目标是优化对不同候选答案的偏好预测，具体地，通过比较候选答案的质量来进行优化。比如，在对话生成任务中，模型需要通过反馈判断哪个回答更符合用户的需求。
损失函数：DPO 常常采用基于排名或偏好的损失函数，来通过优化模型输出的偏好评分来提升性能。这种方法更关注不同候选之间的相对质量，而不是单一的预测准确性。