LLM概念梳理（一）：训练流程之PT、SFT和PO

一个LLM的成功问世，一般分为：预训练 PT+监督微调 SFT+偏好优化 PO。

预训练（Pre-Training）是为了让模型学习通用知识，而监督微调（Supervised Fine-Tuning）是为了优化模型在特定任务上的表现。为了进一步地提升 LLMs 的对话能力、以及对于人类价值观的对齐程度，偏好优化（Preference Optimization）被引入到了模型微调过程中。

一、预训练 PT

在 PT 阶段，LLM首先在大量的无标签数据上进行训练（无监督学习），目的是让模型学习到语言的统计规律和一般知识，得到的预训练模型被称为基座模型。在这个过程中模型能够学习到词语的语义、句子的语法结构、以及文本的一般知识和上下文信息。

二、监督微调 SFT

传统微调最适合的场景是：我们希望“模型的回答逐个 token 都模仿提供的数据”，也就是逐字模仿。就像写作文，对范文进行模仿，措辞方式、语气词、标点符号的使用风格、排版风格等等都要去模仿。

这个学习过程导致了一些问题：

1. 它对于预料的 token 级质量要求比较高。（无法让模型的学习过程知道“光学习它的语气就行了，排版格式不用学”）
2. 需要足够多样性的数据，来确保模型学到的是我们期望它学到的相关性。（选择题学习到比率、或者问题题学习到长度）

通过传统微调训练的模型，在能力上实现阶跃。但模型缺少泛化能力，输出模式比较固定，遇到新的问题不能很好解决。并且，需要高质量的微调数据集。

应用：当我们把行业数据构建成数据集，通过微调训练，就可以训练出一个行业大模型。它既补充了基础模型，对行业知识的缺乏，又让模型在回答问题时，更偏向于回复此行业的知识。（微调改变了模型的权重）

三、偏好优化 PO

在 SFT 阶段，模型被训练以识别“想要的答案”，但未明确告知“不想要的答案”。为解决这一问题，可以通过收集用户反馈和日志数据，在对齐阶段告诉模型哪些答案是不可接受的。对齐阶段目的是进一步优化模型，使其更符合实际应用需求。基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）便是这类算法最早期的代表。

基于人类反馈的强化学习 RLHF

OpenAI使用RLHF最早就是为了解决以下问题：

• 高质量的微调数据集制作成本高到无法接受，即使都让专家来人工撰写也做不到足够好。
• 人并不擅长生成长文本，相对来说比较两个回答的成本更低，对标注人员的能力的要求也更低。
• 当模型的平均能力超过标注人员的平均能力时，如何进行有效地标注。

标注问题从“产生一个完整的回答”变成了“比较一些回答的好坏”。

RLHF的过程是：输出几个结果，模型比较一下优劣，然后自己一步步调整，得到一个好结果。在这个过程中，模型对齐人类的认知，具有一定的区分能力，当遇到新的问题时，可以知道好的方向。

1. 训练一个奖励模型，让这个奖励模型学习人类的偏好，让这个模型的回答，遵循“HHH”原则（helpfule、honest、harmless）
2. 使用训练好的奖励模型，让大模型进行强化学习，即用奖励模型对大模型的生成结果进行评分。不断迭代，从而提升模型的整体效果。
3. 其中，实现上述优化过程的最常用算法被称为近端策略优化（Proximal Policy Optimization，PPO）。

案例：
LLaMA 2 训练：先进行finetune，然后进行RLHF，以提高泛化性。

RLHF使用更贴合真实生成任务的目标函数，成为了获得强大LLMs的关键步骤，然后其存在以下问题：

• 数据构造：为了得到 RM，针对每条指令采集多条（≥2）回复数据，再让人类依据自己的偏好进行质量排序；
• 计算资源：为了模拟真实的生成场景，训练过程中需要实时地让LLMs生成回复，并用RM打分。同时，由于RLHF和PT、SFT之间存在较大的目标函数差异，需要一个冻结的参考模型与策略模型计算KL散度作为约束，抑制模型的参数偏移。需要3-4个LLMs同时存储在GPU中参与运算。

直接偏好优化 DPO

如果不能降低 RLHF 的开销，LLMs 在更广泛场景中的应用将受到限制。于是，直接偏好优化（Direct Preference Optimization，DPO）应运而生。DPO 融合了打分模型和策略模型的训练过程（将奖励模型训练和强化学习融合在同个阶段进行），因此只需要标注过偏好的数据、参考模型和策略模型，就可以使 LLMs 直接对齐人类的偏好，极大地减轻了训练时对计算资源的消耗。DPO由于训练过程相对简单，已成为对齐阶段的主流算法，代替RLHF。

数据集格式：

1. prompt：
   • 单轮：仅包含每轮对话的提问；
   • 多轮：包含前几轮对话的问答及最后一轮的提问；
2. chosen：prompt字段对应的正偏好回答；
3. rejected：prompt字段对应的负偏好回答。

四、总结

• SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐；
• SFT 只通过 LLMs 生成的下一个单词进行估计，而 RLHF 和 DPO 通过 LLMs 生成的完整句子进行估计，显然后者的估计会更准确；
• 虽然 RLHF 和 DPO 取得比 SFT 好的结果，但代价是高昂的数据构造和计算资源开销。

参考文献：
6000字长文告诉你：大模型「训练」与「微调」概念详解
带人工反馈的强化学习（rlhf）和微调（fine-tune）有什么区别？
SFT、RLHF、DPO、IFT —— LLM 微调的进化之路
什么是DPO训练