简介
大模型具有生成和理解自然语言的强大能力,但在专属领域中,通用模型往往表现不尽如人意。为了解决这一问题,越来越多的人希望能够使用基于专业或行业领域的大语言模型,以提高回答问题的准确性。
从零开始训练一个大模型所需的算力、成本以及数据质量和数量的要求都非常高,因此并不适用于所有人。
然而,我们可以选择在已有的大模型(例如GPT系列)上进行微调。微调是指在已经训练好的大模型的基础上,使用专业领域的数据进行进一步训练。通过在原有大模型的基础上添加专业领域的数据,可以对模型进行微调,从而减少大模型出错的概率和降低模型出现幻觉的次数。这种方法不仅能够显著提升模型在特定领域的表现,还能够在一定程度上控制成本,是一种切实可行的解决方案。
微调模型的优点
- 赋予大模型新的数据
微调允许我们在已有大模型的基础上,加入特定领域的新数据,从而增强模型在该领域的知识和表现能力。例如,通过加入医学领域的数据,模型可以更准确地回答医学相关的问题。
- 帮助大模型修正错误信息
通用大模型在某些专业领域可能会出现错误或不准确的信息。通过微调,我们可以利用高质量的领域特定数据来修正这些错误,从而提高模型的准确性和可靠性。
- 微调成本可控
与从零开始训练一个大模型相比,微调所需的资源和成本大大降低。微调只需要在已有模型的基础上进行进一步训练,这使得微调的成本和算力需求更容易计算和管理,对于中小型企业和个人用户来说尤其实用。
微调前的准备工作
在开始微调之前,需要确认微调的方向并收集相应的专业知识,以便模型能够学习该领域的专业内容,这样,经过多次微调后,模型才能给出令人满意的结果。需要包含如下步骤:
- 确定微调方向:明确希望模型在什么领域表现出色(例如,医学、法律、金融等)。
- 收集数据:收集该领域的专业知识和数据,确保数据的准确性和全面性。
- 准备数据格式:
- 整合数据,使其符合 OpenAI 可接受的格式,即一组演示对话。
- 对话应包括希望在实际使用过程中出现的相应类型。
- 格式化对话
- 数据需要符合 Chat Completions 的消息格式。
- 每条消息应包含角色、内容和可选名称。
- 添加预期和辅助消息,帮助模型提供更理想的响应。
可微调的模型如下:
- gpt-3.5-turbo-0125(推荐)
- gpt-3.5-turbo-1106
- gpt-3.5-turbo-0613
- babbage-002
- davinci-002(实验)
- gpt-4o-2024-05-13
数据示例格式如下:
模型微调过程
示例文件下载:点击下载 jsonl 文件
在准备好数据之后,就可以开始模型的微调。主要分为以下几个步骤:
- 上传数据
上述准备好的数据可以保存进jsonl文件,主要在这个文件中,每行都是完整的一条json数据,即每一行都是完整的一次对话。使用文件 API 上传文件,以便与微调作业一起使用。
一次上传文件的大小最大为 1G,但是不建议使用这么大的数据量进行微调,上传文件需要时间并且不太可能需要那么大的数据量才能看到改进。
- 微调模型
确保数据集上传正确后,就可以创建微调作业,可以通过界面化或者编程的方式来创建微调作业。示例如下:
- 查看微调状态
使用上述创建微调任务后,一般情况下会有一个等待微调成功的时间,可以使用以下的 API 随时查看微调的结果:
- 模型验证与测试
等待模型微调成功后,即可直接调用该模型进行测试,为了方便看出差异,可以同时调用 gpt-3.5-turbo 和微调后的模型并且询问同一个问题,便能看出微调的效果:
微调后数据的评估
为了完成对模型的微调,需考虑到一次微调的结果很可能不如预期,因此可以通过不断调整训练数据集来提高模型输出的质量。具体可参考内容如下:
检查现有示例:
- 确保训练示例包含响应所需的信息:每个示例应明确并充分地涵盖预期地回答内容,确保模型有足够的信息来生成准确的响应。
- 查看训练示例中的一致性:确保所有示例在格式、语调和结构上保持一致,以便模型能从中学习到统一的风格和逻辑。
- 确保所有实例都使用相同的格式:一致的格式有助于模型更好的理解和学习。
追加新的示例:
- 收集预期不对的示例:将模型输出的预期不正确的示例收集起来,并将修改后的预期回答作为新的训练示例,补充进下一次微调的数据集中。
- 检查现有示例:根据回答的内容判断示例是否存在语法、逻辑等问题,确保每个示例都是高质量的。
- 考虑数据地平衡性和多样性:不同类型的回答应该均衡分布,并且包含各种不同类型的内容,以确保模型在各种情境下都能生成适当的响应。
总结
- 微调的概念
- 微调的优点
- 微调前的准备工作
- 模型微调过程
- 微调后数据的评估