强化学习与人类反馈（Reinforcement Learning from Human Feedback, RLHF）

1. RLHF的背景与动机

1.1 AI对齐问题与RLHF的诞生

随着大语言模型（LLM）规模的快速增长（如GPT-4、DeepSeek），这些模型展现出强大的语言生成能力，但也暴露出以下问题：

• 行为不可控：模型可能生成有害、偏见或不准确的内容。
• 偏离人类意图：模型的输出可能不符合用户的期望或价值观。
• 难以定义目标：复杂任务（如对话、写作）没有明确的“正确答案”，传统监督学习难以直接优化。

这些问题统称为 AI对齐问题（AI Alignment），即如何确保AI系统的行为与人类的目标和价值观一致。RLHF作为一种解决方案，最早由OpenAI提出，旨在通过人类反馈引导模型优化，解决对齐问题。2017年，OpenAI在《Deep Reinforcement Learning from Human Preferences》中首次提出RLHF，随后在InstructGPT和ChatGPT中大规模应用。

1.2 RLHF的核心价值

RLHF的核心价值在于：

• 间接优化复杂目标：通过人类反馈，RLHF将主观、模糊的目标（如“有帮助且安全”）转化为可优化的奖励信号。
• 高效利用反馈：相比传统监督学习需要大量标注数据，RLHF只需要少量人类反馈即可显著改进模型。
• 动态适应性：RLHF可以根据不同文化、用户群体或任务需求调整模型行为。
• 通用性：适用于多种任务，包括对话、文本生成、机器人控制等。

1.3 RLHF与其他方法的对比

• 监督微调（Supervised Fine-Tuning, SFT）：
  • SFT直接用标注数据（如输入-输出对）微调模型，适合明确的任务。
  • 局限：需要大量高质量标注数据，无法处理主观或模糊目标。
• 模仿学习（Imitation Learning）：
  • 模仿学习通过模仿专家行为训练模型（如行为克隆）。
  • 局限：依赖专家演示，无法超越专家水平。
• 传统强化学习：
  • 传统RL需要明确的奖励函数，人工设计奖励函数复杂且容易出错。
  • RLHF通过人类反馈自动构建奖励函数，更加灵活。
• 直接偏好优化（DPO）：
  • DPO是一种新兴替代方法，直接基于偏好数据优化模型，无需显式奖励模型。
  • 优势：计算效率更高，但可能牺牲部分性能。

---

2. RLHF的完整流程

RLHF的实现可以分为四个主要阶段，每个阶段都有其独特的目标和技术细节。

2.1 预训练模型：基础与准备

• 目标：训练一个具有强大通用能力的初始模型，为后续RLHF优化提供起点。
• 方法：
  • 数据集：使用大规模未标注文本数据（如Common Crawl、Wikipedia、Books）。
  • 训练目标：自监督学习，通常是语言建模（Language Modeling），即预测下一个词（Next Token Prediction）。
  • 模型架构：Transformer架构（如GPT系列），通常包含数十亿参数。
• 输出：一个预训练语言模型，能够生成流畅但可能不完全符合人类偏好的文本。
• 细节：
  • 预训练阶段耗时且计算密集，通常需要GPU/TPU集群。
  • 模型可能存在过拟合或生成有害内容的风险，需要后续优化。

2.2 人类反馈：数据收集与设计

• 目标：收集人类对模型输出的评价，作为优化依据。
• 方法：
  • 生成样本：使用预训练模型，根据输入Prompt生成多个输出（Responses）。
  • 人类评价：
    • 成对比较（Pairwise Comparison）：标注者比较两个输出，选出“更好”的一个。
    • 评分：为每个输出打分（如1-5分）。
    • 开放反馈：标注者提供文字说明，指出输出的优点或问题。
  • 数据形式：最常见的是成对比较数据，格式为 $(x,y_1,y_2,y_1\succ y_2)$，表示对于输入 $x$，输出 $y_1$ 优于 $y_2$。
• 细节：
  • 标注者：通常是经过培训的专业标注者或众包工作者。
  • 一致性：通过多轮标注或一致性检查（如Cohen’s Kappa）确保评价质量。
  • 多样性：输入Prompt需要覆盖多种场景（如问答、对话、指令跟随）。
  • 规模：通常需要数百到数千条反馈数据，具体取决于任务复杂性。
• 挑战：
  • 主观性：不同标注者的偏好可能不一致。
  • 成本：人类反馈的收集成本较高。
  • 偏见：标注者的文化背景或个人偏见可能影响数据质量。

2.3 奖励模型：建模与训练

• 目标：基于人类反馈数据，训练一个奖励模型，用于评估模型输出的质量。
• 方法：
  • 模型架构：通常是一个神经网络，可以基于预训练模型（如BERT或原始语言模型的一个分支）。输入是 (Prompt, Response) 对，输出是一个标量奖励值 $r_{\varphi }(y,x)$。
  • 训练数据：成对比较数据 $(x,y_1,y_2,y_1\succ y_2)$。
  • 损失函数：基于Bradley-Terry模型，假设人类偏好可以用奖励差建模：
    $P(y_1\succ y_2|x)=\frac{\exp (r_{\varphi }(y_1,x))}{\exp (r_{\varphi }(y_1,x))+\exp (r_{\varphi }(y_2,x))}$
    损失函数为负对数似然：
    ${\mathcal{L}}_{\text{RM}}=-{\mathbb{E}}_{(x,y_1,y_2,y_1\succ y_2)}\left[\log \left(\frac{\exp (r_{\varphi }(y_1,x))}{\exp (r_{\varphi }(y_1,x))+\exp (r_{\varphi }(y_2,x))}\right)\right]$
  • 优化：使用梯度下降（如Adam优化器）最小化损失。
• 细节：
  • 正则化：加入L2正则化或Dropout，防止过拟合。
  • 初始化：奖励模型通常从预训练模型初始化，加速收敛。
  • 评估：通过验证集上的准确率（预测偏好的正确率）评估奖励模型质量。
• 输出：一个奖励模型，能够为任意输出分配奖励值。

2.4 强化学习优化：PPO与正则化

• 目标：利用奖励模型的奖励信号，通过强化学习优化原始模型。
• 方法：
  • 强化学习算法：近端策略优化（Proximal Policy Optimization, PPO），一种稳定且高效的策略梯度算法。
  • 优化目标：调整模型参数 $\theta$，使策略 ${\pi }_{\theta }$ 生成的输出最大化期望奖励：
    J ( θ ) = E π θ [ r ϕ ( y , x ) ] J(\theta) = \mathbb{E}_{\pi_\theta} \left[ r_\phi(y, x) \right]