【翻译】【OpenAI官方文档】大模型ChatGPT微调

最新推荐文章于 2024-01-02 12:40:21 发布

ALLinLLM

最新推荐文章于 2024-01-02 12:40:21 发布

阅读量525

点赞数 2

分类专栏：大模型落地文章标签： chatgpt python 深度学习

原文链接：https://platform.openai.com/docs/guides/fine-tuning

版权

大模型落地专栏收录该内容

2 篇文章 1 订阅

订阅专栏

来源：https://platform.openai.com/docs/guides/fine-tuning
翻译：ChatGPT
校对：ALLinLLM

译者按：官网原文的信息含量很大，包括了微调的一些原则和技术细节。但是，国内需要网络配置后才能访问，且没有中文版本，阅读颇为不便。因此我使用了ChatGPT，将这篇文章翻译成中文。可谓原汤化原食。对于一些大模型通用的术语，会在第一次出现时给出英文原文，那么我们开始。

微调

简介

学习如何为你的应用程序自定义一个模型。
通过进行微调，你可以在 API 提供的模型上获得更好的结果，具体表现在以下几个方面：

比提示（Prompt）设计更高质量的结果
能够训练更多无法放入提示中的示例
由于提示更短，可以节省令牌（token）
更低延迟的请求

GPT-3 已经在大量来自开放互联网的文本上进行了预训练。当给定一个仅包含几个示例的提示时，它通常可以直观地理解你要执行的任务，并生成一个合理的完成结果。这通常被称为 “少样本学习”（few-shot learning）。

通过在比提示中更多的示例上进行训练，微调改进了少样本学习，使你能够在广泛的任务上取得更好的结果。一旦模型完成了微调，你将不再需要在提示中提供示例。这样既可以节省成本，又可以实现更低延迟的请求。

在高层次上，微调包括以下几个步骤：

准备并上传训练数据
训练一个新的微调模型
使用你的微调模型

请访问我们的定价页面（https://openai.com/pricing），了解有关微调模型训练和使用的详细信息。

可以进行微调的模型有哪些？

目前只有以下基础模型可以进行微调：

Davinci
Curie
Babbage
Ada

这些是原始模型，在训练后没有任何后续指导（例如，像text-davinci-003这样的模型）。你也可以继续微调已经微调过的模型，以添加额外的数据，而无需从头开始。

安装

我们推荐使用OpenAI的命令行接口（CLI）。要安装CLI，请运行以下命令：

pip install --upgrade openai

（以下说明适用于版本0.9.4及更高版本。此外，OpenAI CLI需要Python 3）

通过将以下一行代码添加到你的shell初始化脚本（例如.bashrc、.zshrc等）中，或在运行微调命令之前在命令行中运行该命令，来设置OPENAI_API_KEY环境变量：

export OPENAI_API_KEY="<OPENAI_API_KEY>"

准备训练数据

训练数据是你教给GPT-3你想让它说的内容。

你的数据必须是一个JSONL（https://jsonlines.org/）文档，其中每一行都是一个与训练示例相对应的提示-完成（prompt-completion）对。你可以使用我们的CLI数据准备工具，轻松地将你的数据转换成这种文件格式。

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

为微调设计提示和完成内容与为使用基础模型（Davinci、Curie、Babbage、Ada）设计提示的方法不同。特别是，对于基础模型的提示通常包含多个示例（“few-shot learning”），而对于微调来说，每个训练示例通常由一个单独的输入示例及其关联的输出组成，无需给出详细的指示或在同一个提示中包含多个示例。

关于如何为不同任务准备训练数据的更详细指南，请参考我们的数据集准备最佳实践。

训练示例越多，效果越好。我们建议至少有几百个示例。一般来说，我们发现数据集大小每翻倍，模型质量线性增加。

CLI数据准备工具

我们开发了一个工具，可以验证、提供建议和重新格式化你的数据：

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

该工具接受不同的格式，唯一的要求是它们包含一个提示和一个完成内容的列或键。你可以传入CSV、TSV、XLSX、JSON或JSONL文件，它将在引导你进行建议更改的过程后，将输出保存为一个准备好进行微调的JSONL文件。

创建一个微调模型

以下假设你已经按照上述说明准备好了训练数据。

使用OpenAI CLI启动你的微调作业：

openai api fine_tunes.create -t <TRAIN_FILE_ID_OR_PATH> -m <BASE_MODEL>

其中，BASE_MODEL是你要开始的基础模型的名称（ada、babbage、curie或davinci）。你可以参考这篇文档（https://platform.openai.com/docs/guides/fine-tuning/customize-your-model-name）自定义你的微调模型的名称。

运行上述命令会执行以下几个操作：

使用文件API上传文件（或使用已上传的文件）
创建一个微调作业
流式传输事件，直到作业完成（这通常需要几分钟，但如果队列中有许多作业或数据集很大，可能需要几个小时）

每个微调作业都从一个基础模型开始，默认为curie。模型的选择既影响模型的性能，也影响运行微调模型的成本。你的模型可以是ada、babbage、curie或davinci之一。请访问我们的定价页面（https://openai.com/pricing），了解有关微调费率的详细信息。

开始微调作业后，可能需要一些时间才能完成。你的作业可能在我们系统中排在其他作业之后，并且根据模型和数据集的大小，训练模型可能需要几分钟或几小时。如果出于任何原因中断了事件流，你可以通过运行以下命令恢复它：

openai api fine_tunes.follow -i <YOUR_FINE_TUNE_JOB_ID>

当作业完成时，它应该会显示微调模型的名称。

除了创建微调作业，你还可以列出现有的作业、获取作业的状态或取消作业。

#列出所有已创建的微调作业
openai api fine_tunes.list

#获取微调作业的状态。返回的对象包括作业状态（可以是pending、running、succeeded或failed）和其他信息
openai api fine_tunes.get -i <YOUR_FINE_TUNE_JOB_ID>

#取消作业
openai api fine_tunes.cancel -i <YOUR_FINE_TUNE_JOB_ID>

使用微调模型

当一个作业成功完成后，fine_tuned_model字段将被填充为模型的名称。现在，你可以将该模型作为参数传递给我们的Completions API，并在Playground中使用它进行请求。

在作业首次完成后，你的模型可能需要几分钟才能准备好处理请求。如果对模型的完成请求超时，很可能是因为你的模型仍在加载中。如果出现这种情况，请稍等几分钟后再尝试。

你可以通过将模型名称作为完成请求的模型参数来开始发送请求：

OpenAI CLI:

openai api completions.create -m <FINE_TUNED_MODEL> -p <YOUR_PROMPT>

cURL:

curl https://api.openai.com/v1/completions
-H "Authorization: Bearer $OPENAI_API_KEY"
-H "Content-Type: application/json"
-d '{"prompt": YOUR_PROMPT, "model": FINE_TUNED_MODEL}'

Python:

import openai
openai.Completion.create(
model=FINE_TUNED_MODEL,
prompt=YOUR_PROMPT)

Node.js:

const response = await openai.createCompletion({
model: FINE_TUNED_MODEL
prompt: YOUR_PROMPT,
});

你可以继续在对这些微调模型的请求中使用所有其他Completions参数，如temperature、frequency_penalty、presence_penalty等。

删除微调模型

要删除一个微调模型，你必须在你的组织中被指定为“所有者”。

OpenAI CLI:

openai api models.delete -i <FINE_TUNED_MODEL>

cURL:

curl -X "DELETE" https://api.openai.com/v1/models/<FINE_TUNED_MODEL>
-H "Authorization: Bearer $OPENAI_API_KEY"

Python:

import openai
openai.Model.delete(FINE_TUNED_MODEL)

准备数据集

微调是一种强大的技术，可以创建一个针对你的特定用例的新模型。在对模型进行微调之前，我们强烈建议阅读以下最佳实践和你的用例的具体指南。

数据格式化

为了对模型进行微调，你需要一组训练示例，每个示例包含一个单独的输入（“prompt”）及其相关的输出（“completion”）。这与使用我们的基础模型有明显的区别，在基础模型中，你可能会在单个提示中输入详细的说明或多个示例。

每个提示应以一个固定的分隔符结尾，以通知模型提示的结束和完成的开始。一个通常很有效的简单分隔符是\n\n###\n\n。分隔符不应在任何提示的其他位置出现。

每个完成应以一个空格开始，因为我们的标记化将大多数单词标记化为前导空格。

每个完成应以一个固定的停止序列结尾，以通知模型完成的结束。停止序列可以是\n、###或任何不出现在任何完成中的标记。

对于推断，你应该以与创建训练数据集时相同的方式格式化你的提示，包括相同的分隔符。还要指定相同的停止序列以正确截断完成部分。

常见的最佳实践

微调在具有更多高质量示例时表现更好。为了比使用高质量提示与基础模型的性能更好地微调模型，你应该提供至少几百个高质量示例，最好由人类专家审核过。从那里开始，性能往往随着示例数量的每倍增加而线性增加。增加示例数量通常是改善性能的最佳和最可靠的方法。

分类器是最容易入门的模型。对于分类问题，我们建议使用ada模型，在微调后通常性能略低于更强大的模型，同时速度更快、成本更低。

如果你在一个现有数据集上进行微调，而不是从头开始编写提示，请务必手动审查你的数据，以排除冒犯性或不准确的内容，如果可能的话，或者如果数据集很大，则尽可能多地随机抽样检查数据集的样本。

具体指南

微调可以解决各种问题，最佳使用方法可能取决于你的具体用例。下面，我们列出了微调的最常见用例和相应的指南。

分类（Classification）

模型是否做出了不真实的陈述？
情感分析
对电子邮件进行分类

条件生成（Conditional generation）

根据维基百科文章撰写引人入胜的广告
实体抽取
客户支持聊天机器人
基于技术属性列表编写产品描述