基于百度千帆大模型平台采用自构造数据集初步微调ERNIE-Speed-8K模型

一、模型背景

        为稳步推进我们的模型选取及调优工作，同时为了使自构造数据集能够有初步结果，我们观察并了解到了百度最近新发行的ERNIE-Speed-8K模型。官方介绍：ERNIE Speed是百度2024年最新发布的自研高性能大语言模型，通用能力优异，适合作为基座模型进行精调，更好地处理特定场景问题，同时具备极佳的推理性能。因此，我们在研究阶段中尝试调优与使用该模型，现将过程与目前的结果展示如下。

二、数据集整合

        在模型训练之前，首先我们需要整合好我们自己的数据集，并将其构造成我们所需要的格式。我们首先确立，以SFT监督微调的方式尝试训练模型，因为LoRA在SFT最具代表性，且能够用于大语言模型的低阶适应。它能够通过冻结预训练好的模型权重参数，然后在每个Transformer块里注入可训练的层，从而实现减少需要训练的计算量。在千帆平台提供的帮助文档中，明确了LoRA的数据集格式，因此我们利用我之前发布的数据集转换的python代码先对我们的数据集进行了预处理，使其变成我们所能够加以使用的jsonl格式。基于python的.txt与.ann数据对集合转json/jsonl数据集-CSDN博客文章浏览阅读178次。文本文件与标注文件数据对集合转json格式文件代码https://blog.csdn.net/2201_75499442/article/details/139340060?spm=1001.2014.3001.5502

三、基于百度千帆大模型平台的操作

1.数据集导入与发布

首先前往平台的通用数据集一页，点击创建数据集，自己填写好数据集的数据集名称，在数据类型处，由于我们本次的数据集为单prompt+单response格式，因此选择第一项，FAQ挖掘我们没有选择打开，因为需要开通模型付费，保存位置我们采取的也是平台共享存储，导入方式选择本地导入，并将我们准备好的jsonl数据导入即可，导入后由于我们的模型是已经标注完毕的，因此我们直接将其发布，便构成了我们自己的一份数据集。

通过下图能够看出，我们的数据集共包含1006对prompt+response

2.创建训练作业

构造好了数据集后，我们利用平台提供的LoRA微调，实现了模型的基于自构造数据集的训练，我直接将训练方式与训练结果展示出来，能够看出ppl与loss的变化情况，迭代次数epoch为10。其中要关注的就是迭代轮次，因为我们的数据量为大约1000条，因此迭代次数为10为最推荐情况，学习率我们采取的是推荐值0.0003。

最后的模型训练结果如下：

3.部署服务并实践

如下图所示，训练好的模型便可以利用创建服务的功能将其创建，创建好后就可以在体验中心实时与我们的训练好后的模型进行问答对话，以此来检查模型结果等。

付费方式我们采取的是后付费的tokens计算方式，此方式更加经济也更适合模型的短时间运行检测，同时要注意，当模型部署后一小时未进行调用，就会自动关闭服务。

4.prompt初步构造

我们知道，一个好的prompt能够更加方便模型结果的输出，我们目前采取的prompt格式为：其中大括号为我们需要模型帮助分析的论文摘要内容。

{} 这是一段英文医学文献的摘要，我需要你分析这段摘要并为我提取出关键信息，同时能够有条理的输出信息，用英文输出
背景信息:只能够选择摘要中出现的内容进行回答
输出格式:按照例如
1. label: intervention, start: 35, end: 56, text: "endometrial resection"
2. label: condition, start: 68, end: 96, text: "recurrent endometrial polyps"
3. label: total-participants, start: 404, end: 410, text: "Twenty"
的格式进行回答

四、结果展示

我们通过平台提供的体验中心直接调用我们发布的服务，能够发现对于一些任务已经有较好的表现结果。

当我们按照上图所示给模型一篇论文的摘要让其按照prompt提出要求分析，结果展示如下：

从模型的输出能够看出，它能够准确为我们提取出文本内容的位置，且只用文本内容进行对应的回答，同时，它能够准确地从摘要文本中提取部分信息，例如干预组、参与者等等。此外，该模型的输出已经体现出了机器的强大的学习能力，其能够展示出除我们训练集以外的一些内容，包括一些具体数值的输出。

但不足之处在于，该模型的这样类型的结果输出还不能够有效便利我们的表格化工作，后续的模型训练过程与prompt的构造过程还非常漫长，但该模型的训练至少为我们指明了方向，也给予了我们进一步优化的信心。