Datawhale X 李宏毅苹果书 AI夏令营 《深度学习详解》第十九章 ChatGPT

19.1 ChatGPT 简介和功能

1、对话框可以输入任何东西

2、可以继续追问

19.2 对于 ChatGPT 的误解

1、第一个误解是 ChatGPT 的回答是罐头讯息

2、另外一个常见的误解是 ChatGPT 的答案是网络搜索的结果

3、那 ChatGPT 真正在做的事情是什么呢？一言以蔽之就是做文字“接龙”。ChatGPT 简单来将其本身就是一个函数，输入一些东西，就输出一些东西。可以以一个句子作为输入，它输出这个句子后面应该接的词汇的概率。它会给每一个可能的符号一个概率。ChatGPT 输出的是这样一个概率的分布，那 ChatGPT 输出概率分布以后，接下来会从这个概率分布里面去做采样，根据这个概率分布去采样出一个词汇。所以这就是为什么ChatGPT 每次的答案都是不一样的，因为他每次产生答案的时候是有随机性的，它是从一个概率分布里面去做取样，所以他每次的答案都是不同的。

         其生成句子的方式就是将词汇连续输出

4、那 ChatGPT 怎么考虑过去的对话历史记录呢？如何做出连续的对话呢？其实这里原理是一样的，因为它的输入不是只有现在的输入，还包含同一则对话里面所有过去的互动。所以同一则对话里面，所有过去的互动，也都会一起被输入到这个函数里面，让这个函数决定要接哪一个词汇，那这个函数它显然是非常非常复杂的

5、但是没有联网的 ChatGPT 是如何通过大量网络数据来进行学习的呢？这里我们要分明确训练和测试，要切成两个部分来看，寻找函数的过程，我们叫做训练。寻找函数的时候，ChatGPT 有去搜集网络的数据，来帮助他找到这个可以做文字接龙的函数。但是当这个可以做文字接龙的函数被找出来以后，模型就不需要联网了，就进入下一个阶段了，叫做测试。测试就是使用者给一个输入，ChatGPT 给一个输出，当进入测试的时候，是不需要去网络搜索的。

19.3 ChatGPT 背后的关键技术——预训练

1、G——生成；P——预训练；T——Transformer

2、我们要让机器学会英文翻中文，首先要有人类收集大量中英成对的例句。这种需要成对的东西来学习的技术，叫做监督式的学习。

3、另外，我们知道 ChatGPT 中不只是有监督式的学习，还有加上强化学习，其使用的是强化学习中常见的 PPO 算法

4、所以综上，ChatGPT 的学习基本上就是三个步骤——先做预训练，再做监督学习，然后做强化学习。

19.4 ChatGPT 带来的研究问题

1、第一个是如何精准提出需求

2、如何让机器修改一个错误，不要弄错更多地方，这会是一个新的研究的主题，即神经编辑（neural editing）。

3、判断输出的内容是否由 AI 生成

4、ChatGPT 会不会口风不紧，泄露了不该泄露的机密

---

hahaha都看到这里了，要是觉得有用的话就辛苦动动小手点个赞吧！