手把手教你微调GPT

在AI模型快速发展的今天，如何根据业务需求微调大模型成为了许多开发者关注的热点问题。在本教程中，我们将详细介绍如何使用OpenAI的API微调GPT模型，并提供示例代码，帮助你快速上手。

1 开发基本要求

基本要求

• Python3
• pip 包管理器

首先，你需要确保环境中已安装 Python 和 pip。如果没有，请根据系统配置进行安装。

克隆仓库

git clone https://github.com/yuyou-dev/ChatGPT-Fine-tuning/

这将会克隆包含所有代码的仓库到本地。

安装依赖

进入仓库目录后，执行以下命令安装所需依赖：

pip install -r requirements.txt

2. 数据准备

在开始微调之前，首先需要准备好用于训练的数据。数据格式的要求如下：

• 每条记录需要是对话式的结构（可参考仓库中的demo数据）。

预处理和格式化数据

在这里，我们将会使用Python脚本对原始数据进行预处理并格式化成合适的结构：

import json

with open('training_data.txt', 'r', encoding='utf-8') as file:
    content = file.read()

paragraphs_level1 = content.split('\n\n\n')
messages = []

for paragraph_level1 in paragraphs_level1:
    paragraphs_level2 = paragraph_level1.split('\n\n')
    message = {"messages": []}
    message["messages"].append({"role": "system", "content": "你是翻译员"})
    
    for i, paragraph in enumerate(paragraphs_level2):
        role = "user" if i % 2 == 0 else "assistant"
        message["messages"].append({"role": role, "content": paragraph})

    messages.append(message)

with open('chat_data.jsonl', 'w', encoding='utf-8') as f:
    for message in messages:
        f.write(json.dumps(message, ensure_ascii=False) + '\n')

3. 调用OpenAI API

接下来，你需要调用OpenAI的API接口，将格式化好的数据上传到平台，并开始微调过程。

上传数据文件

import requests
import openai

api_key = 'your-api-key'

headers = {
    "Authorization": f"Bearer {api_key}"
}
files = {
    "file": open("chat_data.jsonl", "rb")
}

response = requests.post("https://api.openai.com/v1/files", headers=headers, files=files)
file_id = response.json()["id"]

启动微调任务

一旦数据上传成功，使用以下代码启动微调：

data = {
    "training_file": file_id,
    "model": "gpt-3.5-turbo-0613"
}

response = requests.post("https://api.openai.com/v1/fine_tuning/jobs", headers=headers, json=data)
fine_tuning_job_id = response.json()["id"]

4. 查看微调状态和结果

通过API检查模型的训练状态：

response = requests.get(f"https://api.openai.com/v1/fine_tuning/jobs/{fine_tuning_job_id}", headers=headers)
fine_tuned_model = response.json().get("fine_tuned_model")

5. 测试微调后的模型

当微调完成后，可以通过以下代码测试微调后的模型效果：

response = openai.ChatCompletion.create(
    model=fine_tuned_model,
    messages=[
        {"role": "system", "content": "你是翻译员"},
        {"role": "user", "content": "请翻译以下句子：全球最大的中文搜索引擎，致力于让网民更便捷地获取信息，找到所求。"}
    ]
)
print(response.choices[0].message.content)

6. 总结

通过本教程，你已经学习了如何准备数据并使用OpenAI的API微调GPT模型。通过合理的微调，你可以为特定的业务场景创建一个更加智能和精准的模型。

完整代码可在GitHub仓库找到。如果有任何问题，欢迎在评论区留言讨论。