大模型到底是怎样训练出来的？万字长文深度解析

想要弄清楚大模型到底是怎样训练出来的，我觉得了解一下GPT-1和GPT-3在构建及训练过程中有哪些异同？GPT-3相较于GPT-1有哪些改进和创新？或许是一个具象化“大模型训练”的不错选择。

这篇发表于2018年，被引次数即将到达1万的文献，向我们详细描述了GPT-1的构建及训练过程：

GPT-1的训练过程主要包括两个阶段：无监督预训练阶段和有监督微调阶段。

在无监督预训练阶段，GPT-1使用了一个大规模的文本语料库BookCorpus进行训练：

我查了一下这个语料库，最早出现于2015年一篇题为《对齐书籍与电影：通过看电影和读书走向类似故事的视觉解释》的论文中，数据集包含超过7000本未出版的图书，约9.85亿个单词，涵盖了小说、冒险、幻想、浪漫等多种文学体裁。

这个语料库的最显著特点是包含大量连续的长文本数据，使模型能够学习到长距离的语言依赖关系，因此不但被GPT-1选为训练数据，也曾被Bert用作训练数据。

拥有了这样一个高质量的训练数据集后，GPT-1采用语言模型作为训练目标，即学习根据给定的上文词语来预测下一个词出现的概率。通过这种自监督学习方式，模型可以自动学习文本中的统计模式和语义表征特点，捕捉词与词之间的关联。

GPT-1的模型架构采用了Transformer的decoder部分，也就是著名的“Decoder Only”架构：

Transformer本是一个用于机器翻译的Seq2Seq模型，包含编码器和解码器两部分，而GPT-1却选择只使用其中的解码器部分。

因为作者们认为语言模型是一个单向的生成任务，不需要编码器对源语言进行编码。

Transformer的解码器使用了自注意力机制，通过将每个词与其上下文中的所有词进行注意力计算，可以有效捕捉长距离依赖关系。

GPT-1的解码器包含12层，每层有12个注意力头，隐单元维度为768。

在训练过程中，GPT-1使用随机梯度下降的优化算，batch大小为64，序列长度为512个token。

文章提到他们训练了100个epoch，不过只提到最大学习率为2.5e-4，并没有给出详细的学习率设置策略，训练过程中使用了dropout正则化防止过拟合。

在无监督预训练之后，GPT-1采用了两阶段的有监督微调方法来进一步提升模型在下游任务上的性能。

第一阶段是在目标任务的无标签数据上进行领域自适应预训练，也就是在下游任务的文本域上继续进行语言模型训练，使GPT-1能更好的适应目标任务的语言风格和内容。

第二阶段是在带标注的任务数据集上进行有监督微调，也就是在GPT-1的基础上添加一个与任务相关的输出层，然后在任务的训练集上进行端到端的微调。

微调阶段使用的学习率比预训练阶段小，并且会同时优化两个损失函数：新增的有监督任务损失和原来的语言建模损失，以防止模型遗忘预训练阶段学到的通用语言知识。

实验结果表明，这种两阶段微调可以显著提升GPT-1在下游任务上的表现。

以自然语言推理任务为例，作者在SNLI、MNLI、QNLI、RTE和SciTail这5个数据集上对GPT-1进行了微调。输入文本被表示为一个token序列，前提（premise）和假设（hypothesis）用分隔符隔开，输出层是一个三分类的softmax层。

实验结果表明，GPT-1在这5个数据集上都取得了不错的性能，接近甚至超过专门为这些任务设计的模型。

表明GPT-1学到的文本表征可以很好的适应不同领域的推理任务，随后作者们又在其他类型的任务，如问答、语义相似度和文本分类采用了相应的输入输出方式对GPT-1进行了微调，结果表明在大多数数据集上GPT-1均取得了优于当时SOTA的结果。

所以大模型其实并不是“横空出世”的，而是建立在众多的试验研究基础之上的。最起码根据GPT-1文章的发表时间可以确定，至少从2018年开始，openai就在致力于大模型的相关研究。

大模型并不是什么“昙花一现”的虚假黑科技，而是切切实实基于高质量、高数量的训练数据集，以及经过反复调试、千锤百炼的最优架构，耗费了大量的能源，训练得到的一种非常好用的工具。作为辛苦搬砖的打工人，面对这样的高科技工具，不应该抵触和抗拒，而是要积极学习，让大模型成为我们的工作助手，减轻工作量和工作难度。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】