Qwen3出来那么久了，会微调了吗？手把手教你打造一个用于训练大模型的微调数据集

想让大语言模型（LLM）变得更聪明、更贴合你的需求？那就得靠微调（fine-tuning）！而微调的关键在于一个精心准备的数据集。

本文将带你一步步了解如何创建和准备一个适合LLM微调的数据集，特别聚焦于如何使用Unsloth来简化这个过程。无论你是想让模型学会写代码、做总结，还是扮演某个角色，这篇指南都能帮你理清思路，少走弯路。

我们会从数据集的基本概念讲起，逐步深入到数据格式、收集、处理，以及如何用Unsloth高效应用数据集。每个部分都配有清晰的代码示例和实际操作建议，确保你能看懂、会用！

什么是数据集？为什么它这么重要？

简单来说，LLM的数据集就是一堆用来训练模型的数据集合。这些数据可以是网页文本、书籍内容、对话记录，甚至是专门为某个任务设计的指令。数据集的作用是让模型学会理解和生成符合你期望的输出。

但光有数据还不够，数据得经过“加工”才能被模型“消化”。这就涉及分词（tokenization），也就是把文本拆成一个个小单元（比如单词、子词或字符），然后转成模型能理解的数字表示（嵌入）。一个好的数据集不仅要内容丰富，还要格式规范，这样模型才能高效学习。

在微调中，数据集的格式通常有以下几种：

• • 原始语料：比如从维基百科抓取的纯文本，适合继续预训练（CPT）。

• • 指令格式：包含任务指令、输入和期望输出，适合监督微调（SFT）。

• • 对话格式：模拟用户和AI的多次对话，适合打造聊天机器人。

• • RLHF格式：对话加上人类或模型的评分，用于强化学习（RL）。

接下来，我们会详细拆解如何根据你的目标选择和准备数据集。

第一步：明确目标，选对数据

在动手收集数据之前，你得先问自己几个问题：

1. 1. 数据集的目的是啥？ 是想让模型学会写代码、做文本总结，还是扮演某个特定角色（比如客服或医生）？

2. 2. 输出风格是什么？ 比如，你想要JSON格式的输出，还是纯文本？语言是中文、英文，还是其他？

3. 3. 数据从哪来？ 是用现成的CSV文件，还是从网上爬取？或者需要自己生成？

明确这些问题能帮你有的放矢。比如，如果你想让模型学会医疗领域的问答，那可以从Hugging Face找医疗相关的数据集，或者用维基百科的医学条目。如果目标是打造一个中文客服机器人，那就需要收集大量的中文对话数据，可能还得加上一些合成数据来丰富多样性。

数据来源建议：

• • Hugging Face：提供海量开源数据集，覆盖各种任务和语言。

• • 各类百科：适合语言学习或知识密集型任务。

• • 合成数据：可以用大模型（比如Llama 3.3）生成数据，但要确保质量高、内容相关。

第二步：选择合适的格式

数据集的格式直接影响模型的训练效果。以下是几种常见格式的介绍和代码示例，帮你快速上手。

1. 原始语料（Raw Corpus）

适合继续预训练，数据就是纯文本，没有特定结构。模型通过这种格式学习语言的自然流动。

{
  "text": "北京烤鸭是一道传统的中国菜肴，以其酥脆的皮和嫩滑的肉闻名。制作过程包括将鸭子腌制、风干，然后在特制的烤炉中烤制。传统的北京烤鸭通常搭配薄饼、甜面酱和葱丝食用……"
}

2. 指令格式（Alpaca风格）

适合单轮任务，比如让模型根据指令生成特定输出。格式包含指令、输入（可选）和输出。

{
  "instruction": "将以下句子翻译成英文。",
  "input": "今天是星期五，天气很好。",
  "output": "Today is Friday, and the weather is nice."
}

3. 对话格式（ShareGPT风格）

适合多轮对话场景，模拟用户和AI的交互。格式记录了“谁说啥”。

{
  "conversations": [
    {
      "from": "human",
      "value": "能教我做北京烤鸭吗？"
    },
    {
      "from": "gpt",
      "value": "当然可以！想学传统的做法还是简化的？"
    },
    {
      "from": "human",
      "value": "传统的吧！"
    },
    {
      "from": "gpt",
      "value": "好的，传统北京烤鸭需要鸭子、麦芽糖、薄饼等材料。先把鸭子腌制……"
    }
  ]
}

4. ChatML格式（Hugging Face默认）

这是目前最常用的对话格式，结构简洁，适合多轮对话。

{
  "messages": [
    {
      "role": "user",
      "content": "1+1等于多少？"
    },
    {
      "role": "assistant",
      "content": "等于2！"
    }
  ]
}

小贴士

• • 如果你的数据是ShareGPT格式，但模型需要ChatML格式，可以用Unsloth的standardize_sharegpt函数转换。

• • 选择格式时，优先考虑你的任务类型：单轮任务用Alpaca，多轮对话用ChatML或ShareGPT。

第三步：用Unsloth格式化数据集

Unsloth是一个高效的微调工具，它提供了强大的聊天模板（chat template）功能，能帮你快速把数据集处理成模型能用的格式。以下是具体步骤：

1. 查看支持的模板

Unsloth支持多种模板，比如chatml、llama-3、gemma-3等。先检查有哪些可用：

from unsloth.chat_templates import CHAT_TEMPLATES
print(list(CHAT_TEMPLATES.keys()))

输出可能是：

['chatml', 'llama-3', 'gemma-3', 'mistral', ...]

2. 应用聊天模板

选择合适的模板，应用到你的分词器（tokenizer）上。比如用gemma-3模板：

from unsloth.chat_templates import get_chat_template

tokenizer = get_chat_template(
    tokenizer,
    chat_template="gemma-3"
)

3. 定义格式化函数

这个函数会把你的数据集中的每条数据应用上聊天模板：

def formatting_prompts_func(examples):
    convos = examples["conversations"]
    texts = [tokenizer.apply_chat_template(convo, tokenize=False, add_generation_prompt=False) for convo in convos]
    return {"text": texts}

4. 加载并处理数据集

假设你用Hugging Face的一个数据集，比如FineTome-100k：

from datasets import load_dataset
from unsloth.chat_templates import standardize_sharegpt

# 加载数据集
dataset = load_dataset("mlabonne/FineTome-100k", split="train")

# 如果是ShareGPT格式，转换为ChatML
dataset = standardize_sharegpt(dataset)

# 应用格式化函数
dataset = dataset.map(formatting_prompts_func, batched=True)

完成这四步，你的.dataset就准备好用于微调了！

第四步：生成合成数据（可选）

如果你的数据集不够大，或者想增加多样性，可以用大模型生成合成数据。比如用Llama 3.3生成对话或指令数据。以下是一些实用提示：

合成数据的目标

• • 生成全新数据：从头创建数据，或者基于现有数据扩展。

• • 增加多样性：避免模型过拟合，让输出更通用。

• • 格式化数据：自动把数据整理成你需要的格式（比如ChatML）。

示例提示

1. 1. 基于现有数据集生成对话：

   根据我提供的对话示例，生成更多符合同样结构和主题的对话。

2. 2. 无数据集时生成数据：

   生成10条关于可口可乐的产品评论，分为正面、负面和中立。

3. 3. 格式化无结构数据：

   将我的数据集整理成ChatML格式，用于微调。然后生成5条同主题的合成数据。

注意事项

• • 检查质量：生成的合成数据可能有噪声，建议人工检查或用脚本过滤低质量内容。

• • 保持平衡：确保数据集在主题、风格、语言等方面均衡，避免模型偏向某类数据。

第五步：特殊场景——视觉微调

如果你的目标是微调一个视觉语言模型（VLM），比如让模型分析X光片，数据集需要包含图像和文本。以下是一个医疗影像数据集（ROCO）的处理示例：

数据集示例

ROCO数据集包含X光片、CT扫描等影像，每张图片有专家写的描述：

Dataset({
    features: ['image', 'image_id', 'caption', 'cui'],
    num_rows: 1978
})

示例数据：

• • 图片：一张X光片

• • 描述：全景X光片显示右侧后上颌骨有溶骨性病变，伴有上颌窦底吸收（箭头指示）。

格式化视觉数据

视觉微调的数据格式需要包含文本指令和图像：

instruction = "你是放射科专家，准确描述这张图片的内容。"

def convert_to_conversation(sample):
    conversation = [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": instruction},
                {"type": "image", "image": sample["image"]}
            ]
        },
        {
            "role": "assistant",
            "content": [
                {"type": "text", "text": sample["caption"]}
            ]
        }
    ]
    return {"messages": conversation}

# 转换数据集
converted_dataset = [convert_to_conversation(sample) for sample in dataset]

转换后的数据示例：

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "text", "text": "你是放射科专家，准确描述这张图片的内容。"},
        {"type": "image", "image": "<PIL.PngImagePlugin.PngImageFile>"}
      ]
    },
    {
      "role": "assistant",
      "content": [
        {"type": "text", "text": "全景X光片显示右侧后上颌骨有溶骨性病变，伴有上颌窦底吸收（箭头指示）。"}
      ]
    }
  ]
}

常见问题解答

数据集需要多大？

至少100条数据才能看到初步效果，1000条以上会更好。数据质量比数量更重要，建议清洗数据，去掉无关或低质量内容。如果数据不够，可以用Hugging Face的通用数据集（如ShareGPT）补充，或者生成合成数据。

怎么处理多列数据？

像Titanic数据集这样有多列的数据（年龄、票价、舱位等），需要“合并”成一个提示。Unsloth的to_sharegpt函数可以自动处理：

from unsloth import to_sharegpt

dataset = to_sharegpt(
    dataset,
    merged_prompt="乘客信息：[[年龄：{age}。]][[票价：{fare}。]][[登船地：{embarked}。]]",
    output_column_name="survived"
)

想让模型学会推理怎么办？

如果目标是推理能力，答案部分需要包含 思维链（chain-of-thought） 过程，详细描述推导步骤。比如：

{
  "instruction": "计算1+1+1。",
  "output": "让我们一步步计算：1+1=2，2+1=3。所以答案是3。"
}

总结：从零到一打造你的数据集

打造一个高效的微调数据集并不复杂，关键是明确目标、选对格式、用好工具。Unsloth的聊天模板和格式化函数能大大简化流程，让你专注于数据质量和任务设计。无论是文本任务还是视觉任务，遵循这五个步骤，你就能准备好一个让模型“听话”的数据集：

1. 1. 明确目标和数据来源。

2. 2. 选择合适的格式（Alpaca、ChatML等）。

3. 3. 用Unsloth格式化数据集。

4. 4. （可选）生成合成数据增加多样性。

5. 5. 对于视觉任务，正确处理图像和文本。

希望这篇指南能帮你顺利迈出微调的第一步！

 一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

 

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

*   大模型 AI 能干什么？
*   大模型是怎样获得「智能」的？
*   用好 AI 的核心心法
*   大模型应用业务架构
*   大模型应用技术架构
*   代码示例：向 GPT-3.5 灌入新知识
*   提示工程的意义和核心思想
*   Prompt 典型构成
*   指令调优方法论
*   思维链和思维树
*   Prompt 攻击和防范
*   …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

*   为什么要做 RAG
*   搭建一个简单的 ChatPDF
*   检索的基础概念
*   什么是向量表示（Embeddings）
*   向量数据库与向量检索
*   基于向量检索的 RAG
*   搭建 RAG 系统的扩展知识
*   混合检索与 RAG-Fusion 简介
*   向量模型本地部署
*   …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

*   为什么要做 RAG
*   什么是模型
*   什么是模型训练
*   求解器 & 损失函数简介
*   小实验2：手写一个简单的神经网络并训练它
*   什么是训练/预训练/微调/轻量化微调
*   Transformer结构简介
*   轻量化微调
*   实验数据集的构建
*   …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

*   硬件选型
*   带你了解全球大模型
*   使用国产大模型服务
*   搭建 OpenAI 代理
*   热身：基于阿里云 PAI 部署 Stable Diffusion
*   在本地计算机运行大模型
*   大模型的私有化部署
*   基于 vLLM 部署大模型
*   案例：如何优雅地在阿里云私有部署开源大模型
*   部署一套开源 LLM 项目
*   内容安全
*   互联网信息服务算法备案
*   …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】