DeepSeek R1-32B微调实战指南
├── 1. 环境准备
│ ├── 1.1 硬件配置
│ │ ├─ 全参数微调:4*A100 80GB
│ │ └─ LoRA微调:单卡24GB
│ ├── 1.2 软件依赖
│ │ ├─ PyTorch 2.1.2+CUDA
│ │ └─ Unsloth/ColossalAI
│ └── 1.3 模型加载
│ ├─ 4bit量化加载
│ └─ Flash Attention2加速
├── 2. 数据集构建
│ ├── 2.1 数据源
│ │ ├─ CMDD中文医疗对话
│ │ └─ MIMIC-III转换
│ ├── 2.2 预处理
│ │ ├─ 敏感信息脱敏
│ │ └─ GPT-4推理链增强
│ └── 2.3 格式化
│ └─ CoT模板封装
├── 3. 微调策略
│ ├── 3.1 LoRA适配
│ │ ├─ 秩64参数配置
│ │ └─ 多投影层覆盖
│ ├── 3.2 SFT训练
│ │ ├─ DeepSpeed Zero-3
│ │ └─ 动态序列打包
│ └── 3.3 GRPO强化学习
│ ├─ 医疗奖励函数
│ └─ 组策略对比优化
├── 4. 部署方案
│ ├
DeepSeek R1-32B医疗大模型的完整微调实战分析(全码版)
于 2025-03-08 14:38:09 首次发布