Datawhale AI夏令营-从零入门大模型微调跑通 baseline

概述

从零入门大模型微调 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“大模型技术”方向），基于讯飞开放平台“星火大模型驱动阅读理解题库构建挑战赛”开展的实践学习。

第一步：报名开始

需要先在赛事完成报名才能进行。具体如下图，所示。具体注册报名实名认证很简单，这里不进行介绍。

第二步：运行baseline：数据处理！

在这里应用了百度studio的在线notebook项目进行，前期的注册使用，详细可见官网，这里不做说明。需进行如下操作即可。

运行该项目后，就可以得到数据处理后的文件：output.jsonl文件，它是一个具体的参考，是基于基座大模型的输入。

第三步：模型微调

这里我们应用科大讯飞平台进行，参考如下。其中，第一步进行数据集的创建和上传。

创建成功后进行训练，进入如下页面。

训练成功后，去发布服务，参考如下。

发布成功后，记下关键参数，后期训练，要进行使用，具体如下。

第四步：模型测试

具体过程如下。

找到具体位置后进行修改参考如下，查看科大讯飞平台的参数进行填写。

最后进行测试。出现如下，证明运行成功。

第五步：提交文件，拿下第一个分数！(点击即可跳转官网进行提交)

这里在讯飞平台进行结果提交。按要求进行参数和提示词的填写，进行提交。

最终等待分数出现，大概1-2小时。

这样，就结束了baseline的学习。