MedicalGPT项目中的PPO训练全流程解析

MedicalGPT项目中的PPO训练全流程解析

MedicalGPT MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。 项目地址: https://gitcode.com/gh_mirrors/me/MedicalGPT

项目概述

MedicalGPT是一个专注于医疗领域的GPT模型训练项目，通过多阶段训练流程将通用大语言模型适配到医疗专业领域。本文将详细解析其中的PPO（Proximal Policy Optimization）训练全流程，帮助读者理解如何通过强化学习优化医疗对话模型。

训练流程总览

MedicalGPT的训练流程分为四个关键阶段：

1. 增量预训练（PT）：在海量领域文本数据上二次预训练
2. 有监督微调（SFT）：构造指令微调数据集进行精调
3. 奖励模型训练（RM）：训练奖励模型对齐人类偏好
4. 强化学习训练（RL/PPO）：基于人类反馈优化模型

第一阶段：增量预训练（PT）

核心目标

通过领域数据（如医疗文本）对基础模型进行二次训练，使其适应特定领域的数据分布。

关键配置参数

• 模型选择：Qwen/Qwen2.5-0.5B
• 训练数据：中文医疗文本（示例中使用了天龙八部小说作为演示）
• 训练参数：

  --per_device_train_batch_size 3
  --learning_rate 2e-4
  --num_train_epochs 1
  --block_size 128
  --lora_rank 8
  

技术要点

1. 使用LoRA（Low-Rank Adaptation）技术进行高效微调
2. 支持bf16混合精度训练节省显存
3. 通过gradient_checkpointing减少显存占用

第二阶段：有监督微调（SFT）

核心目标

使用指令数据对模型进行精调，使其能够理解并遵循人类指令。

关键配置变化

• 学习率调整为更小的2e-5
• 移除了block_size参数
• 使用医疗对话数据进行训练

技术要点

1. 保持LoRA微调方式
2. 调整了weight_decay等正则化参数
3. 使用更小的batch_size以适应对话数据的特性

第三阶段：奖励模型训练（RM）

核心目标

训练一个能够评估回答质量的奖励模型，为强化学习阶段提供反馈信号。

关键配置变化

• 使用fp16而非bf16
• 设置了max_source_length和max_target_length
• 更小的batch_size（1）

技术要点

1. 采用对比学习方式训练奖励模型
2. 需要设置remove_unused_columns=False保留必要字段
3. 使用不同的torch_dtype配置

第四阶段：强化学习训练（PPO）

核心目标

通过强化学习优化模型，使其生成更符合人类偏好的回答。

关键配置

--sft_model_path ./merged-sft
--reward_model_path ./merged-rm
--response_length 1000
--num_train_epochs 3

技术实现

1. 使用PPO算法进行策略优化
2. 需要同时加载SFT模型和奖励模型
3. 设置较长的response_length以适应医疗问答需求
4. 使用tensorboard记录训练过程

训练结果与模型合并

每个阶段训练完成后：

1. 保存LoRA适配器权重(adapter_model.safetensors)
2. 可通过merge_peft_adapter.py将适配器合并到基础模型
3. 训练日志可通过tensorboard查看

实际应用建议

1. 数据准备：医疗领域需要准备专业的医学文本和问答数据
2. 模型选择：实际应用中建议使用更大的基础模型
3. 参数调整：根据具体硬件调整batch_size等参数
4. 评估指标：设计专业的医疗领域评估标准

常见问题解答

Q：为什么PT阶段是可选的？ A：当领域数据不足时，SFT阶段也能有效注入领域知识。实验表明SFT通常比PT更高效。

Q：LoRA训练有什么优势？ A：LoRA通过低秩适配大幅减少训练参数量，可在消费级GPU上微调大模型，且便于保存和分享适配器。

Q：如何监控训练过程？ A：使用tensorboard监控训练指标，命令示例：

tensorboard --logdir outputs-ppo-v1/runs --host 0.0.0.0 --port 8009

通过这套完整的训练流程，开发者可以将通用语言模型转化为专业的医疗对话助手，在实际应用中提供更准确、可靠的医疗咨询回答。

MedicalGPT MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。 项目地址: https://gitcode.com/gh_mirrors/me/MedicalGPT