一、环境安装
pip install -U 'xtuner[deepspeed]'
查看版本:
二、模型认知微调
1.生成自我认知数据:
import json
# 设置用户的名字
name = 'LateBird同学'
# 设置需要重复添加的数据次数
n = 3750
# 初始化数据
data = [
{"conversation": [{"input": "请介绍一下你自己", "output": "我是{}的小助手,内在是上海AI实验室书生·浦语的1.8B大模型哦".format(name)}]},
{"conversation": [{"input": "你在实战营做什么", "output": "我在这里帮助{}完成XTuner微调个人小助手的任务".format(name)}]}
]
# 通过循环,将初始化的对话数据重复添加到data列表中
for i in range(n):
data.append(data[0])
data.append(data[1])
# 将data列表中的数据写入到'datas/assistant.json'文件中
with open('datas/assistant.json', 'w', encoding='utf-8') as f:
# 使用json.dump方法将数据以JSON格式写入文件
# ensure_ascii=False 确保中文字符正常显示
# indent=4 使得文件内容格式化,便于阅读
json.dump(data, f, ensure_ascii=False, indent=4)
2.修改配置文件
(1)列出所有预定义配置文件
xtuner list-cfg -p internlm2
(2)复制配置文件
xtuner copy-cfg internlm2_chat_1_8b_qlora_alpaca_e3 .
(3)修改配置文件
a.模型路径修改:
pretrained_model_name_or_path = 'Shanghai_AI_Laboratory/internlm2-1_8b'
b.数据集修改:
data_files = ['datas/pretrain.json']
c.evaluation_inputs修改:
evaluation_inputs = ['请介绍一下你自己', 'Please introduce yourself']
(4)启动微调
xtuner train ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py
(5)模型格式转换
模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件,那么我们可以通过以下命令来实现一键转换。
MKL_SERVICE_FORCE_INTEL=1 MKL_THREADING_LAYER=GNU xtuner convert pth_to_hf ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py ./work_dirs/internlm2_chat_1_8b_qlora_alpaca_e3_copy/iter_384.pth ./hf
转换后的模型如下:
(6)模型合并
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。
MKL_SERVICE_FORCE_INTEL=1 MKL_THREADING_LAYER=GNU xtuner convert merge /root/InternLM/XTuner/Shanghai_AI_Laboratory/internlm2-chat-1_8b ./hf ./merged --max-shard-size 2GB
模型合并完成后结果如下:
三、模型微调前后对比
未微调前:
微调后:
四、发布应用
参考以下链接进行应用发布:
Tutorial/tools/openxlab-deploy at camp2 · InternLM/Tutorial · GitHub
部署后的应用地址为:OpenXLab浦源 - 应用中心