人人都能看懂的 ChatGPT 原理课:从 GPT1.0 到 ChatGPT，经历了什么？

目录

GPT 初代

GPT 的语言建模

语言模型的编解码

GPT-2

GPT-3

大模型中的大模型

对话模式

小样本（Few-Shot）学习

ChatGPT

强化学习

总结

---

尽管 ChatGPT 像是一颗核弹，突然在全世界媒体上引爆了。但是，ChatGPT 并不是 OpenAI 天降神力直接横空出世的，而是 OpenAI 历经多年，不断迭代、不断优化模型的结果。

GPT 是 OpenAI 发布的一系列模型的总称。主要经历了 GPT 初代、GPT2.0、GPT3.0、GPT3.5、ChatGPT，目前已经有了 GPT4，未来还会有 GPT-n 等等，模型之间有很强的关联。这几个模型的关系如下图所示：

ChatGPT 中的很多技术点，都是由前几代模型设计并运用的，学习 ChatGPT 技术原理，势必要学习了解早期 GPT 模型的发展脉络。若把 ChatGPT 比作一个健康聪明的青年人，那么早期的模型就是他的婴儿时期、青少年时期，GPT 的发展历程像是朝着模拟人类发展。

GPT 初代

早在 2018 年，OpenAI 制作了一个名为 GPT 的模型，也就是 ChatGPT 的婴儿阶段。这个 GPT 初代模型，在很多 NLP 的具体任务中取得了前所未有的优质效果。 它与谷歌发布的 Bert 模型（比 GPT 初代更加流行，效果更好），还有 ELMO 模型，一起将 NLP 带进了大规模神经网络语言模型（Large Language Model, LLM