Datawhale AI 夏令营第四期 大模型技术-微调 task1 从零入门大模型微调

从零入门大模型微调 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“大模型技术”方向），基于讯飞开放平台“星火大模型驱动阅读理解题库构建挑战赛”开展的实践学习——

学习内容提要：基于讯飞大模型定制训练平台和spark-13b微调模型，生成高考语文现代文阅读和英语阅读问题QA对

当前环节可让你在 30分钟 内，从一个完全小白的选手，跑通 “星火大模型驱动阅读理解题库构建挑战赛挑战赛” ！

Step1：报名赛事！(点击即可跳转)

赛事链接：https://challenge.xfyun.cn/h5/detail?type=question-bank-construction&option=phb&ch=dw24_E7x9gl

注意：点击报名参赛（如果没登录需要大家登录一下），也请大家登录后完成个人认证以便后续顺利参赛。

Step2：运行baseline：数据处理！

链接：https://aistudio.baidu.com/projectdetail/8225663

1、登录百度账号

2、运行一下，启动环境

3、一键运行代码，下载output.jsonl文件！

Step3：模型微调（点击即可跳转）

链接：https://training.xfyun.cn/dataset/datasetIndex

这里我们将刚才处理好的阅读题目（output.jsonl）文件准备好，带上一口仙气准备微调模型！

等待处理

运行成功

模型训练

模型发布

注意：如果大家没有应用请到 https://console.xfyun.cn/app/myapp 点击创建创建一个。

Step4：模型测试（回到notebook）

接着运行一下notebook，点击这个代码块左边的启动按钮即可，我们能看到模型的输出。

Step5：提交文件，拿下第一个分数！(点击即可跳转官网进行提交)

链接：http://challenge.xfyun.cn/topic/info?type=question-bank-construction&option=tjjg

点击提交结果后，需要在https://training.xfyun.cn/刚才的微调页面拿一下resourceid

接着拿好我们的prompt：

中文部分

    (1)理解文中重要概念的含义
    (2)理解文中重要句子的含意
    (3)分析论点、论据和论证方法

英文部分

    (1)Understanding the main idea of the main idea.
    (2)Understand the specific information in the text.
    (3)infering the meaning of words and phrases from the context

准备好后按照下图填写即可（快速跳转）~

评分大概需要 1-2h～评分结束后可以在【提交页面最下方】处看到评分结果哟！（预期分数在71分左右😉~）（目前因为参赛选手较多评分时间过长，可能实际时间会更久一些有的甚至3-4h）