《这就是ChatGPT》读书笔记

书名：这就是ChatGPT
作者：[美] 斯蒂芬·沃尔弗拉姆（Stephen Wolfram）

ChatGPT在做什么？

ChatGPT可以生成类似于人类书写的文本，它基本任务是弄清楚如何针对它得到的任何文本产生“合理的延续”。当ChatGPT写一篇文章时，它实质上只是在一遍又一遍地询问“根据目前的文本，下一个词应该是什么”，并且每次都添加一个词。更准确地说，它是每次都添加一个“标记”(token)，而标记可能只是词的一部分。这就是它有时可以“造词”的原因。
可以简单的将ChatGPT做的事情看作是“单字接龙”，它总是根据概率选择下一个字，但是这些概率是从何而来的呢？
最佳思路是建立一个模型，让我们能够估计序列出现的概率。ChatGPT的核心正是所谓的“大语言模型”。

什么是模型？

假设你想（像16世纪末的伽利略一样）知道从比萨斜塔各层掉落的炮弹分别需要多长时间才能落地。当然，你可以在每种情况下进行测量并将结果制作成表格。不过，你还可以运用理论科学的本质：建立一个模型，用它提供某种计算答案的程序，而不仅仅是在每种情况下测量和记录。
模型是指有某种特定的基本结构，以及用于拟合数据的一定数量的“旋钮”（也就是可以设置的参数）。
对于ChatGPT，我们需要为人脑产生的人类语言文本建立模型。
如果函数给出的结果总是与人类的意见相符