模型训练核心：GPT 系列模型所依赖的数据

目录

GPT 初代训练数据与规模

GPT-2.0 训练数据与规模

GPT-3.0 训练数据与规模

InstructGPT 训练数据与规模

数据集数量

数据集分布

数据集标注标准

GPT-3.5 训练数据猜测

ChatGPT RLHF 训练数据猜测

总结

---

在前面的章节中，我们从模型结构、训练方法层面讲解了 ChatGPT 的原理，通读下来，大家应该可以对 ChatGPT 的原理有一个大致的认识和了解了。

如果把学习 ChatGPT 原理比作学习烹饪的话，那么，学完前面章节的模型原理就相当于学会了一份菜谱。

可是，学会菜谱可并不算学会了烹饪，还需要了解食材怎么选取，烹饪的厨具怎么选择。

ChatGPT 模型的食材就是数据，厨具就是算力。

ChatGPT 能够取得如此卓越的效果，依靠的绝不仅仅是模型结构和算法原理创新，数据和算力也是其中极为重要的两环。自从 ChatGPT 发布公测以来，不断有其它公司或机构宣称也制作了性能可以对标 ChatGPT 的模型，但普遍来讲，都不及 ChatGPT 的效果优秀。换句话说，数据和算力在一定程度上卡住了后来者的脖子。

然而，OpenAI 机构并未公开 ChatGPT 相关的训练数据集和所耗用的算力。因此，我们只有通过回顾 GPT 系列模型公开的信息，尝试使用 ChatGPT，来大致分析 ChatGPT 的数据特点和规模。数据的准备、收集、清洗对于训练一个优质的模型来说非常重要。