参考了官方的视频和教程,在本地windows部署,微调功能的使用相对比较容易上手,不深入研究的话,大体的步骤比较简单,官方文档写的非常清楚,请参考官方Xtuner实战,在此不赘述。
本次实战数据集采用的是书生万卷1.0中的法律部分的数据集,配置采用的是internlm2_chat_7b_qlora_lawyer_e3,基础模型使用的是internlm2_chat_7b。
一、增量训练
由于本地环境是win11,在优化环节使用了bitsandbytes,而bitsandbytes默认支持Linux,对windows的支持不够友好,捣腾bitsandbytes花了近5个小时。在train跑起来那一刻眼泪都流出来了。心心念的微调终于开始跑起来了。
1、加DeepSpeed的重要性
windows11下deepspeed安装总有问题,就没有使用deepspeed,结果跑了30多个小时。
2、开源对windows不友好
在Windows环境下,基础库DeepSpeed和bitsandbytes都需要手动安装,里面有很多坑,需要花很多时间去捯饬基础环境,建议用Linux,能避免很多不必要的麻烦。
bitsandbytes安装参考:关于windows上运行bitsandbytes老是报错的(说cuda版本有问题)解决方案_the installed version of bitsandbytes was compiled-CSDN博客
DeepSpeed安装参考:Windows安装DeepSpeed_deepspeed能不能在windows-CSDN博客
在此,感谢以上两位博主的无私奉献。
二、模型测试
1、合并前
2、合并后