1 微调前置基础
想了解微调相关的基本概念,可以访问XTuner微调前置基础。
2 准备工作
在InternStudio上创建开发机,选择开发机镜像:Cuda12.2-conda。
创建完成后clone代码仓到本地:
mkdir -p /root/InternLM/Tutorial
git clone -b camp3 https://github.com/InternLM/Tutorial /root/InternLM/Tutorial
依次运行以下命令,具体作用参见注释
# 2.2 创建虚拟环境
# 创建虚拟环境
conda create -n xtuner0121 python=3.10 -y
# 激活虚拟环境(注意:后续的所有操作都需要在这个虚拟环境中进行)
conda activate xtuner0121
# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
pip install transformers==4.39.3
pip install streamlit==1.36.0
# 2.3 安装 XTuner
# 创建一个目录,用来存放源代码
mkdir -p /root/InternLM/code
cd /root/InternLM/code
git clone -b v0.1.21 https://github.com/InternLM/XTuner /root/InternLM/code/XTuner
# 进入到源码目录
cd /root/InternLM/code/XTuner
conda activate xtuner0121
# 执行安装
pip install -e '.[deepspeed]'
# 检验是否正常安装
xtuner version
# 打开帮助
xtuner help
# 2.4 模型准备
# 创建一个目录,用来存放微调的所有资料,后续的所有操作都在该路径中进行
mkdir -p /root/InternLM/XTuner
cd /root/InternLM/XTuner
mkdir -p Shanghai_AI_Laboratory
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b Shanghai_AI_Laboratory/internlm2-chat-1_8b
# 观察目录结构
apt-get install -y tree
tree -l
3 快速开始
用 internlm2-chat-1_8b
模型,通过 QLoRA
的方式来微调一个自己的小助手认知作为案例来进行演示。
3.1 微调前的模型对话
直接上命令行
# 直接启动应用
conda activate xtuner0121
streamlit run /root/InternLM/Tutorial/tools/xtuner_streamlit_demo.py
端口映射,在本地的Power Shell中执行如下命令:
# 最后的那个端口号43551根据开发机的端口号进行更改
ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 43551
浏览器输入网址:127.0.0.1:8051
3.2 指令跟随微调
# 准备数据文件
cd /root/InternLM/XTuner
mkdir -p datas
touch datas/assistant.json
# 复制一份xtuner_generate_assistant.py到当前目录下
cd /root/InternLM/XTuner
cp /root/InternLM/Tutorial/tools/xtuner_generate_assistant.py ./
# 上条指令执行完毕后将xtuner_generate_assistant.py中的'伍鲜同志'修改成你想要的名称
# 执行该脚本来生成数据文件
cd /root/InternLM/XTuner
conda activate xtuner0121
python xtuner_generate_assistant.py
查看执行后的目录结构
3.2.2 准备配置文件
# 查看XTuner 提供多个开箱即用的配置文件
conda activate xtuner0121
xtuner list-cfg -p internlm2
# 复制一个预设的配置文件
cd /root/InternLM/XTuner
conda activate xtuner0121
xtuner copy-cfg internlm2_chat_1_8b_qlora_alpaca_e3 .
修改默认的配置文件internlm2_chat_1_8b_qlora_alpaca_e3_copy.py,Tutorial/configs/internlm2_chat_1_8b_qlora_alpaca_e3_copy.py at camp3 · InternLM/Tutorial · GitHub
3.2.3 启动微调
cd /root/InternLM/XTuner
conda activate xtuner0121
xtuner train ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py
3.2.4 模型格式转换
cd /root/InternLM/XTuner
conda activate xtuner0121
# 先获取最后保存的一个pth文件
pth_file=`ls -t ./work_dirs/internlm2_chat_1_8b_qlora_alpaca_e3_copy/*.pth | head -n 1`
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py ${pth_file} ./hf
3.2.5 模型合并
cd /root/InternLM/XTuner
conda activate xtuner0121
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert merge /root/InternLM/XTuner/Shanghai_AI_Laboratory/internlm2-chat-1_8b ./hf ./merged --max-shard-size 2GB
3.3 微调后的模型对话
conda activate xtuner0121
streamlit run /root/InternLM/Tutorial/tools/xtuner_streamlit_demo.py
然后就是映射端口,请移步前面查看,在浏览器中输入链接127.0.0.1:8051访问,具体效果如下
部署过程中遇到了过拟合的问题,最后调整如下位置的数据,将该数据从8000改成3500后,解决了过拟合的问题。
每次修改上面这个值之后需要重新运行下如下的代码
cd /root/InternLM/XTuner
conda activate xtuner0121
python xtuner_generate_assistant.py
然后还需要重新走一遍训练,合并,部署等命令
cd /root/InternLM/XTuner
conda activate xtuner0121
xtuner train ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py
# 先获取最后保存的一个pth文件
pth_file=`ls -t ./work_dirs/internlm2_chat_1_8b_qlora_alpaca_e3_copy/*.pth | head -n 1`
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py ${pth_file} ./hf
cd /root/InternLM/XTuner
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert merge /root/InternLM/XTuner/Shanghai_AI_Laboratory/internlm2-chat-1_8b ./hf ./merged --max-shard-size 2GB
streamlit run /root/InternLM/Tutorial/tools/xtuner_streamlit_demo.py
# 结束
效果还是非常好的