如何准备大模型调优训练的数据集？

根据已有的预训练大模型，精调出自己的私有大模型，是通用大模型走向企业应用和个人应用的重要方向。目前，大部分的通用大模型已经向大众开放，用于在其基础上调优训练出专有的AI模型。

例如：百度千帆大模型平台，该平台目前提供20多个基于大量的无标注数据，结合不同的训练方式训练出定制的预训练模型。在这些预训练模式的基础，借助千帆大模型平台，我们可以通过四个步骤，调优训练出专业大模型：数据准备、大模型训练、大模型管理、大模型服务。

其中，第一个步骤就是数据准备，而数据准备的开始就是建立自己的数据集。那么，如何建立大模型调优的数据集呢？根据千帆大模型平台，自己新建的数据集，根据调优训练的场景不同，分为6种数据类型：

一、Prompt+Response数据集

用于单轮或多轮的文本对话数据集，提问与回答一一对应。适用于模型精调的SFT大语言模型训练。例如：Prompt：你好！ Reponse：你好，有什么可以帮助你吗？

向平台上传的数据集：支持jsonl、txt、csv、xlsx格式文件及包含上述文件类型的tar.gz/zip压缩包文件上传；单个jsonl、txt、csv、xlsx文件大小，或压缩包源文件大小，均不超过1G，所有文件数量不超过100；每一行代表一组数据，每组数据的Token数不超过32K。

备注：1、每一行代表一组数据，也就是一组数据之间有换行符\n。

2、一组数据的Token，也就是一组数据的文本分拆出的一个个的词、标点符号、数字或其他字符，一个token就是一个词、标点符号、数字或其它字符，Token数量就是这些分拆出的字词的数量，32K就是32000个字词，即每组数据最多3.2万个token。

需准备的数据集模板见平台的jsonl、txt、cvs、xlsx的模板，模板分为有标注的数据模板，单轮对话的数据模板，多轮对话的数据模板。

也可以向平台直接上传文本，大模型自动从文本中挖掘FAQ问答对，来新建数据集。不过，自己建立的FAQ问答数据集，肯定在质量上要好于大模型的自动挖掘。在条件允许的情况下，建议自己来构建问答对，以便使用优质的问答对来精调出高质量的模型。

二、纯文本数据集

特定领域的大规模无标注数据。适用于模型精调的Post-pretrain自监督预训练。

向平台上传的数据集：支持txt、pdf、doc、docx、jsonl格式文件及包含上述文件类型的tar.gz/zip压缩包文件上传。

其中，jsonl和docx的纯文本平台有模板对照。也就是直接向平台上传专业领域的纯文本的文件，预训练的大模型使用这些特定领域的数据进行模型训练，以使模型更好地适应这些领域的数据和任务。

三、Prompt+Chosen+Rejected数据集

单轮或多轮的文本对话数据，每个提示语存在对应的正负偏好回答。适用于模型精调的DPO直接偏好优化。

这类数据支持：支持jsonl格式文件及包含上述文件类型的tar.gz/zip压缩包文件上传；单个jsonl文件大小，或压缩包源文件大小，均不超过1G，所有文件数量不超过100；每一行代表一组数据，每组数据的Token数不超过32K。

jsonl格式：有标志的单轮对话，例子如下：

[{“user”:“hello”,“chosen”:“hi nice to meet you”,“rejected”:“leave me alone”}]

jsonl格式：有标志的多轮对话，例子如下：

[ {“user”:“生成一个关于人工智能的标题吧。”,

“assistant”:“好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。”},

{“user”:“可以再给我一些具体的例子吗？”,

“assistant”:“当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。” },

{“user”:“会导致这些行业大量失业么？”,

“chosen”:“是的”,

“rejected”:“不是的”} ]

四、Prompt+多Response排序数据集

用于单轮或多轮的文本对话数据集，单个提问对应多个已排序的回答。适用于模型精调的RLHF奖励模型训练。举例子如下：

Prompt	Response
你好	1	你好，有什么可以帮你吗
	2	你好，有什么问题吗

数据集的要求，与第一种的Prompt+Response有一些相似，不过，response里面是二维列表，代表多response回答。

五、Prompt集

用于单轮或多轮的文本对话数据集，仅含提问，不含回答。适用于模型精调的RLHF强化学习训练。

prompt数据集：支持jsonl、txt、csv、xlsx格式文件及包含上述文件类型的tar.gz/zip压缩包文件上传；单个jsonl、txt、csv、xlsx文件大小，或压缩包源文件大小，均不超过1G，所有文件数量不超过100；每一行代表一组数据，每组数据的Token数不超过2K。

这种数据集的样式如下所示，只有prompt，没有response回答。

六、Prompt+图片

文生图对话数据，文本提问与图片回答一一对应。适用于模型精调的SFT文生图大模型训练。

这类数据集：支持jpg、png、bmp、jpeg格式文件及包含上述文件类型的tar.gz/zip压缩包文件上传；单张jpg、png、bmp、jpeg图片大小限制在14M以内，同时压缩包源文件大小不超过1G，所有文件数量不超过100；图片规格标准见平台说明。

总之，以上是千帆大模型平台使用通用大模型进行调优预训练的第一步——数据准备，只有准备高质量的训练数据，后续才能使用它对大模型进行定向调优，从而训练出适合特定领域的专长模型，例如作文打分模型。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓