【无标题】

大模型微调训练日志#1

今天开始记录微调大模型的操作

目的是微调一个医疗大模型。
当前的最高配置是4张4090。

第一次尝试：HuatuoGPT

Github上开源的一个医疗大模型，提供微调代码和模型，无RLHF代码，但提供Reward Model。
特点是使用混合的人机数据集，并使用RLAIF对齐偏好，具体如下图：

此处基模型我选择百川的Baichuan-7B模型
但是可能由于显存问题，程序无一例外的崩溃了，导致电脑重启：

第二次尝试：FireFly

第一次尝试中，HuatuoGPT的源码似乎是全量参数微调，因此第二次我打算使用高效参数微调的方法（如LoRA），减少显存占用。
FireFly是Github上开源的微调代码框架，支持全量参数微淘和QLoRA微调。

---

【错误】运行时发现一个错误：NotImplementedError:Using RTX 3090 or 4000 series dosen’t support faster communication via P2P or IB。
在网上查了查，似乎是数据并行错误，解决方法：在运行前添加如下命令，export NCCL_IB_DISABLE=1; export NCCL_P2P_DISABLE=1。

---

错误解决后，依然无法成功运行，命令行没有输出有效信息，无法使用nvidia-smi输出显存信息（即使关掉运行程序后），