首先摆上几个常用的网址
qwen的文档:你好,Qwen2 | Qwen (qwenlm.github.io)
cuda官网:CUDA Toolkit - Free Tools and Training | NVIDIA Developer
cudnn官网:CUDA Deep Neural Network (cuDNN) | NVIDIA Developer
第一个需要记录的点:微调大模型前面配环境的时候可以不装cudnn,后面装pytorch的时候应该自己带了torch+cudnn的包。哦对,还有一个很重要的是Python最好用3.10,更精确一点好像是3.10.2,因为我记得有个包支持的范围是Python3.8-3.11
pytorch官网:Start Locally | PyTorch
这里推荐cuda和torch的组合为11.8+2.1.1或者12.1+2.1.1,cuda最好只能是这二者之一,pytorch不要超过2.2,方便后面装其他的包(当前时间是24年8月,参考价值估计一年内吧)
Firefly项目官网:GitHub - yangjianxin1/Firefly: Firefly: 大模型训练工具,支持训练Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型Unsloth项目官网:GitHub - unslothai/unsloth: Finetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory网站差不多了,开始记录
1.首先git clone,这个没啥说的。
2.然后就看requirements.txt,要注意一定不能直接用pip install requirements.txt来装,这里有两个问题,一个是这句语法我记得是有问题的,应该是pip install -r requirements.txt,还有一个就是中间有的包安装过程中互相依赖有问题,中断了可能找不回来,所以建议一个个手动装
安装前先换源,只能用清华源,阿里源跟不用一样
设置清华源:Pip源设置(使用清华源) - 端木清 - 博客园 (cnblogs.com)
在这些包里面,很多包可以先装,然后后面哪一步报错就卸掉升级,也可以先装高一些的。accelerate建议装0.25.0,transformer好像是4.44(这个后面会自己升级的),peft 0.10.0,pandas编译会报错,我忘了报错是啥了,但是可以在网上搜到解决方案。xformers最关键,一定一定要按照cuda+pytorch+Python这三个的版本找对应的包,错一点都不行,遇到问题的时候可以看这篇:xFormers 无法加载 CUDA_please reinstall xformers-CSDN博客
torch因为装过了pytorch了所以不用装了
后面哪里报错了更新哪个就行
3.训练的时候注意uncloth不支持多卡,所以如果一机多卡就要设置只用一张卡跑,设置方法:【深度学习】Python使用指定gpu运行代码在大型机构分配的服务器集群中,需要使用GPU的程序默认都会在第一张卡上进行 - 掘金 (juejin.cn)
或者在 train_args里面设置关掉uncloth
有uncloth的情况下微调qwen2-7b模型需要16g显存(3090 24g)
微调qwen2-1.5b模型需要10g显存(3090 24g)
4.如果连huggingface报error一般都是网络连接的error,解决方法看这篇如何解决hugging face终端无法访问问题 - 知乎 (zhihu.com)
5.要把代码放在后台跑不受终端关闭的影响可以用nohup来解决,设置方法看这篇Linux服务器SSH客户端断开后保持程序继续运行的方法_ssh连接中断后进程还在吗-CSDN博客