入门大模型微调问题一

大模型微调报错记录

学习过程中所遇报错记录、分享

lora微调使用gptq量化模型

使用的微调工具是fastchat，微调模型是qwen1.5 gptq量化过的。在执行中报错“libcudart.so.12 no obejct file”。
环境中python库：
auto_gptq 2.3.5
deepspeed 0.13.5
flash-attn 2.3.0
torch 2.0.1+cu117
torchaudio 2.0.2+cu117
torchvision 0.15.2+cu117
transformers 4.38.2
optimum 1.13.2
cuda 驱动版本是11.7， nvcc 11.7
这个报错是因为auto_gptq包引起的，需要包卸载，重新安装。
安装参考指令：“pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu117/”

如果你的cuda可以更新的12版，也可以把驱动和相关的包都适配到cuda12版。

使用deepspeed 配置把训练放到gpu上报错：
ValueError: Found modules on cpu/disk. Using Exllama backend requires all the modules to be on GPU.You can deactivate exllama backend by setting disable_exllama=True in the quantization config object
确定pip 的依赖torch与cuda驱动是否匹配。
cuda 11.7 对应 pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu117

cuda 11.8 对应 pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118