Datawhale AI 夏令营---第四期（从零入门大模型微调）（一）

官方教程

基本任务：微调spark-13b模型，生成高考语文现代文阅读和英语阅读问题QA对
依托于下图所示比赛

https://challenge.xfyun.cn/topic/info?type=question-bank-construction&option=ssgy

跑通baseline

训练数据制作

根据教程，运行代码获得output.jsonl文件


由图可见，训练资料就是阅读理解题

模型微调

基于讯飞大模型定制训练平台
在这个平台上提交训练资料，然后进行微调训练

然后还要发布为服务，根据生成的resourceid等进行简单测试和最后提交。

提交

提交平台：http://challenge.xfyun.cn/topic/info?type=question-bank-construction&option=tjjg
我第一次训练了4个小时(lr: 6e-5， epoch:10)，最后得分42
第二次训练了1个小时(lr: 8e-5, epoch:15)，最后得分22.

训练时间很长，测试时间也超级长，分数很低。QAQ。菜。。。

最后，一步一步照着教程做即可，但是不知道具体怎么做微调，怎么调参数，希望之后的学习中学会。