DataWhale AI夏令营-大模型微调-学习笔记

Task1：从零入门大模型微调

一、问题概述

从零入门大模型微调 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“大模型技术”方向），基于讯飞开放平台“星火大模型驱动阅读理解题库构建挑战赛”开展的实践学习。学习内容：基于讯飞大模型定制训练平台和spark-13b微调模型，生成高考语文现代文阅读和英语阅读问题QA对。

二、操作步骤

Task 1 从零入门大模型微调

可以根据上面链接的步骤顺利地跑通baseline，对大模型的微调有一个初步的了解。如果创建数据集时出现错误，我们可以尝试刷新或更换浏览器的方式来解决这个问题。按照步骤一步一步地来应该没有什么太大的问题。

还有就是我们创建自己的模型的时候要注意，框起来的这几个位置要记得保存一下。

因为回到我们的notebook里面需要我们填（下面红框这里），将刚才保存的那5个填到想应的位置即可。一一对应地填，因为有的位置可能和我们保存的那个位置有差别。

我按照上面的步骤跑完baseline时的可以达到65.83333，如果想要进一步提高分数，我们可以通过优化我们的数据集、更改学习率、基于我们仅有的数据集适当地提高训练轮次等。如果训练轮次太大容易发生过拟合。我将之前的学习率 lr=0.00008减小为0.00006，训练轮次调整为17，我的分数提升到68.125。

三、问题思考

大模型微调的挑战包括数据不足、过拟合、计算资源限制、超参数调整和模型泛化能力。解决方案有：使用数据增强、迁移学习、分布式训练、自动化超参数优化、正则化技术，以及模型剪枝和量化以提高效率。

评估大模型微调效果，可通过准确率、F1分数、召回率、精确度和AUC-ROC等指标。使用验证集进行性能测试，观察模型在未见数据上的表现。考虑模型的泛化能力和推理速度。交叉验证和混淆矩阵可辅助分析模型的优缺点。

附件：基础补充

Pandas学习推荐

Datawhale有一个开源教程项目叫 Joyful Pandas，出版图书《pandas数据处理与分析》

豆瓣链接：pandas数据处理与分析 (豆瓣)

文字版教程链接：Home — Joyful Pandas 1.0 documentation

视频教程链接：Pandas中文教程《Joyful-Pandas》视频讲解_哔哩哔哩_bilibili

机器学习材料推荐

Datawhale翻译了李宏毅老师的机器学习教程，可在处学习查看。Datawhalehttps://linklearner.com/learn/summary/13