前言:代码学习我个人比较喜欢动手去学,因为对pytorch接触的比较多,所以感觉可以对MindSpore可以有比较快速的入手,机缘巧合之下看到了模型微调大赛,正好借着这个机会从实践中去感受Mindspore各组件的魅力,同时可以学习一下大模型的prompt engineering和Lora训练
比赛链接
模型微调大赛的主要目标是在Llama3-8b的模型基础上进行微调,提高其计算数学问题的能力。提高数学计算能力可以更好地将大模型应用于行业生产中,如金融、科学研究等。
环境配置
在配置环境的时候可以启动最低的配置,可以省钱
大赛一共发4张1000元代金券,赛题2的训练推荐配置一小时需要花费80元,基本上一次微调的训练就需要花费500元左右,所以如何省钱去打这个比赛也很重要。
根据大赛手册,我们可以快速地去布置环境,其基本步骤如下:
-
- mindspore安装
-
- mindformers安装
-
- 环境变量和其他依赖安装
-
- 模型权重和tokenizer文件准备
-
- 数据集准备(这一步可以直接下载Mindrecord格式的数据集)
-
- 开始微调
在此附上一个自动配置的脚本,一键运行即可(整个过程花费大约1h)。