基于昇腾-MindSpore的Qwen1.5-14B SFT

说明

基于昇腾全系的Qwen1.5-14b SFT

参考资料

• MindSpore (以下内容全部基于r1.0分支进行)

• mindspore---qwen1.5-14b-sft

• MindIE-RT

一、设备及框架

• NPU: Ascend 910B1 1*8 卡(单卡32G显存)

• cpu: KunPeng ARM 64 192核

• EME：1536GB

• EVS：3T

• 系统： EulerOS

• 云平台：MindArt + OBS

• 框架：MindSpore

• 推理框架：MIndIE-RT

二、环境配置

两种方式：1.镜像克隆（需要联系华为工程师配置合适的镜像源） 2. 手动配置

1.基础环境配置

• 镜像克隆配置

#pytorch框架  python3.9
swr.cn-east-292.mygaoxinai.com/huqs/pytorch2.1.0_cann8.0.rc1.alpha002_py3.9_euler2.8.3_910b:v8
​
#qwen1.5专属   mindSpore框架  python3.9.18
swr.cn-east-292.mygaoxinai.com/huqs/mindspore2.2.14-cann7.0.0beta1_py_3.9-euler_2.8.3_910b:glmv26b_qwen7b

• 手动配置

  参考链接

2.MindSpore搭建

git clone -b r1.0 https://gitee.com/mindspore/mindformers.git
cd mindformers
#pip install pip==20.2.4 若报pip错误，则切换此版本
bash build.sh

#后续用到的配置文件、数据和权重转换脚本都放在 mindspore/research/qwen1_5

#模型训练后的输出路径 mindspore/research/output

三、数据集转换

目的：

将数据转换为mindrecord格式

流程：

1. 将json/jsonl数据格式与Alapa_data数据集的格式对齐（若是此格式则直接进行下一步2.，不是写个脚本转换