用Firefly微调大模型踩坑记录

首先摆上几个常用的网址

qwen的文档：你好，Qwen2 | Qwen (qwenlm.github.io)

cuda官网：CUDA Toolkit - Free Tools and Training | NVIDIA Developer

cudnn官网：CUDA Deep Neural Network (cuDNN) | NVIDIA Developer

第一个需要记录的点：微调大模型前面配环境的时候可以不装cudnn，后面装pytorch的时候应该自己带了torch+cudnn的包。哦对，还有一个很重要的是Python最好用3.10，更精确一点好像是3.10.2，因为我记得有个包支持的范围是Python3.8-3.11

pytorch官网：Start Locally | PyTorch

这里推荐cuda和torch的组合为11.8+2.1.1或者12.1+2.1.1，cuda最好只能是这二者之一，pytorch不要超过2.2，方便后面装其他的包（当前时间是24年8月，参考价值估计一年内吧）

Firefly项目官网：GitHub - yangjianxin1/Firefly: Firefly: 大模型训练工具，支持训练Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型Unsloth项目官网：GitHub - unslothai/unsloth: Finetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory网站差不多了，开始记录

1.首先git clone，这个没啥说的。

2.然后就看requirements.txt，要注意一定不能直接用pip install requirements.txt来装，这里有两个问题，一个是这句语法我记得是有问题的，应该是pip install -r requirements.txt，还有一个就是中间有的包安装过程中互相依赖有问题，中断了可能找不回来，所以建议一个个手动装

安装前先换源，只能用清华源，阿里源跟不用一样

设置清华源：Pip源设置（使用清华源） - 端木清 - 博客园 (cnblogs.com)

在这些包里面，很多包可以先装，然后后面哪一步报错就卸掉升级，也可以先装高一些的。accelerate建议装0.25.0，transformer好像是4.44（这个后面会自己升级的），peft 0.10.0，pandas编译会报错，我忘了报错是啥了，但是可以在网上搜到解决方案。xformers最关键，一定一定要按照cuda+pytorch+Python这三个的版本找对应的包，错一点都不行，遇到问题的时候可以看这篇：xFormers 无法加载 CUDA_please reinstall xformers-CSDN博客

torch因为装过了pytorch了所以不用装了

后面哪里报错了更新哪个就行

3.训练的时候注意uncloth不支持多卡，所以如果一机多卡就要设置只用一张卡跑，设置方法：【深度学习】Python使用指定gpu运行代码在大型机构分配的服务器集群中，需要使用GPU的程序默认都会在第一张卡上进行 - 掘金 (juejin.cn)

或者在 train_args里面设置关掉uncloth

有uncloth的情况下微调qwen2-7b模型需要16g显存（3090 24g）

微调qwen2-1.5b模型需要10g显存（3090 24g）

4.如果连huggingface报error一般都是网络连接的error，解决方法看这篇如何解决hugging face终端无法访问问题 - 知乎 (zhihu.com)

5.要把代码放在后台跑不受终端关闭的影响可以用nohup来解决，设置方法看这篇Linux服务器SSH客户端断开后保持程序继续运行的方法_ssh连接中断后进程还在吗-CSDN博客