【ChatGPT】GPT实现原理大解析——看完就知道什么叫颠覆

---

前言

ChatGPT 能够自动生成类似于人类写作的文本，这一点非常引人注目，也令人意外。但它是如何实现的？为什么它能够如此出色地生成我们认为有意义的文本？我的目的是在这里概述ChatGPT内部的运行情况，并探讨它能够如此出色地产生有意义文本的原因。

首先需要解释的是，ChatGPT的基本目标是尝试产生一个“合理的延续”，无论它当前所拥有的文本是什么。这里的“合理”是指“在浏览了数十亿网页等人类书写的内容后，人们可能会写什么”。

那么假设我们有文本“AI的牛逼之处在于它能够…”，我们可以想象一下扫描数十亿页人类写作的文本（比如在网上和数字化的书籍中），找到所有这个文本的实例，然后看下一个单词出现的频率是多少。ChatGPT实际上是在类似地寻找在某种意义上“匹配”的内容，以生成一个排名列表，列出可能的后续单词和相应的“概率”。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、ChatGPT是什么？

ChatGPT写作时的一个显著特点是，它实际上只是一遍又一遍地问自己：“在当前文本的情况下，下一个词应该是什么？”然后每次添加一个单词。更准确地说，它添加的是一个“标记”，可能只是一个单词的一部分，这就是它有时可以“创造新词”的原因。

好的，在每一步中，ChatGPT都会得到一个带有概率的单词列表。但是它应该选择哪个单词来添加到正在撰写的文章（或其他文本）中呢？也许人们认为应该选择“排名最高”的单词（即被分配最高“概率”的单词）。但是这就是玄学开始的地方。因为某种原因（也许有一天我们会对此有科学式的理解），如果我们总是选择排名最高的单词，我们通常会得到一个非常“平淡”的文章，似乎从未“展现出任何创意”（有时甚至是逐字重复）。但是，如果有时（随机地）选择排名较低的单词，我们就会得到一个“更有趣”的文章。

这里有随机性，这意味着如果我们多次使用相同的问题提问，每次都可能得到不同的回答。同时，存在一个特定的所谓“temperature”参数，它决定了低排名单词被使用的频率。对于文章生成来说，实践中发现使用“temperature”为0.8最佳。（需要强调的是，这里没有运用任何“理论”；这只是经验上被发现的有效方法。）

在继续之前，我需要说明的是，出于阐述的目的，我通常不会使用ChatGPT中的完整系统，而是使用更简单的GPT-2系统。该系统有一个很好的特点，即其大小足够小，可以在标准台式计算机上运行。

例如，以下是获取上述概率表格的步骤。首先，我们需要检索底层的“语言模型”神经网络：

稍后，我们将会深入探讨这个神经网络，并讲解它是如何工作的。但现在，我们可以把这个“网络模型”视为黑匣子，应用到我们目前的文本中，并请求该模型认为应该跟随的前五个概率最高的单词：
这个步骤将结果转换为一个格式明确的“数据集”：