环境说明:
CUDA相关环境已搭建完成,不会装CUDA环境可参照我的其它文章;
显卡:4张3090
1、安装swift环境
#从源码安装
git clone https://github.com/modelscope/swift.git
cd swift
pip install -e .[llm]
pip install -e .[eval]
2、下载Qwen2-7B-Instruct模型
from modelscope import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer
model_dir = snapshot_download('qwen/Qwen2-7B-Instruct')
# Loading local checkpoints
# trust_remote_code is still set as True since we still load codes from local dir instead of transformers
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_dir,
device_map="auto",
trust_remote_code=True
).eval()
3、微调
CUDA_VISIBLE_DEVICES=0,1,2,3 \
swift sft --model_type qwen2-7b-instruct \
--model_id_or_path /root/.cache/modelscope/hub/qwen/Qwen2-7B-Instruct \
--sft_type lora \
--dtype AUTO \
--dataset AI-ModelScope/alpaca-gpt4-data-zh#200 \
--self_cognition_sample 3000 \
--model_name 阿盛 Master \
--model_author 盛世芳华 LLM_ROME \
--num_train_epochs 1 \
--lora_rank 8 \
--lora_alpha 32 \
--lora_dropout_p 0.05 \
--lora_target_modules ALL \
--gradient_checkpointing true \
--batch_size 1 \
--weight_decay 0.1 \
--learning_rate 1e-4 \
--gradient_accumulation_steps 16 \
--output_dir output
--model_id_or_path:指定模型路径
--dataset:指定魔搭的数据集ID,我用的是AI-ModelScope/alpaca-gpt4-data-zh数据集
--self_cognition_sample:开启自我认知微调,开启后自动使用魔搭的swift/self-cognition数据集(自我认知微调数据集 · 数据集 (modelscope.cn))
--model_name: 默认为[None, None]. 如果开启了自我认知数据集的采样(即self_cognition_sample>0), 需要传入两个值, 分别代表模型的中文名和英文名. 例如: --model_name 小黄 'Xiao Huang'
--model_author: 默认为[None, None]. 如果开启了自我认知数据集的采样, 你需要传入两个值, 分别代表作者的中文名和英文名. 例如: --model_author 魔搭 ModelScope
其它参数可自己调整。
4、pytorch作为后端推理
CUDA_VISIBLE_DEVICES=0,1,2,3 swift infer --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199
5、合并lora
CUDA_VISIBLE_DEVICES=0,1,2,3 swift export --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199 --merge_lora true
此时会生成./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199-merged,里面就包含了*.safetensors模型文件四个。
6、使用vllm作为后端加速推理
pip install vllm
RAY_memory_monitor_refresh_ms=0 CUDA_VISIBLE_DEVICES=0,1,2,3 swift infer --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199-merged --infer_backend vllm --tensor_parallel_size 1 --max_model_len 8192 --gpu_memory_utilization 0.95
加速效果非常明显。
7、使用WebUI推理
之前的互动都在CLI中,同时还可通过web界面来互动。
swift app-ui --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199-merged
访问:127.0.0.1:7860即可。
常见错误
1、ImportError: /lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.29' not found (required by /home/wuye/anaconda3/envs/tf2/lib/python3.8/site-packages/google/protobuf/pyext/_message.cpython-38-x86_64-linux-gnu.so)
这个是默认路径下的libstdc++.so.6缺少GLIBCXX_3.4.29,解决方法,如下所示:
(1)使用指令先看下系统目前都有哪些版本的
strings /usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX
我这里只到3.28,所以确定是缺少GLIBCXX_3.4.29。
(2)来查看当前系统中其它的同类型文件,找到一个版本比较高的
sudo find / -name "libstdc++.so.6*"
找到/opt/conda/lib/libstdc++.so.6.0.29,看看其是否包含需要的版本:
strings /opt/conda/lib/libstdc++.so.6.0.29 | grep GLIBCXX
可以看到有需要的版本,接下来就是建立新的链接到这个文件上
cp /opt/conda/lib/libstdc++.so.6.0.29 /usr/lib/x86_64-linux-gnu/
rm /usr/lib/x86_64-linux-gnu/libstdc++.so.6
ln -s /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.29 /usr/lib/x86_64-linux-gnu/libstdc++.so.6
2、Qwen2报错——RuntimeError: “triu_tril_cuda_template“ not implemented for ‘BFloat16‘
说明torch版本太低,我当前版本是2.0.1,升级torch版本到2.2.2即可。
pip install torch==2.2.2
参考:
基于SWIFT微调专属于自己的大模型 - 知乎 (zhihu.com)
如何解决version `GLIBCXX_3.4.29‘ not found的问题_glibcxx not found-CSDN博客
Qwen2报错——RuntimeError: “triu_tril_cuda_template“ not implemented for ‘BFloat16‘_automodelforcausallm runtimeerror: probability ten-CSDN博客 部署llama3时出现RuntimeError: “triu_tril_cuda_template“ not implemented for ‘BFloat16‘报错_the attention mask is not set and cannot be inferr-CSDN博客