大型语言模型入门

大型语言模型ChatGPT

快速、全面了解大型语言模型。学习李宏毅课程笔记。

ChatGPT
目前由OpenAI公司发明的非常火的人工智能AI应用ChatGPT，到底是什么原理呢？
G：Generative(生成)
P：Pre-trained(预训练)
T：Transformer(一种类神经网络模型)

当然，类似的AI技术还有其他，如：Google Bard、Anthropic Claude等等

ChatGPT背后原理

ChatGPT真正做的事情：就是“文字接龙”。

ChatGPT又叫大型语言模型，那什么是语言模型呢？
能做“文字接龙”的模型，其实就是语言模型。

那语言模型，是怎么回答人类问题的呢？
当输入问题“台湾最高的山是哪座？”的时候，ChatGPT会把它看作成为一个未完成的句子，它会选择一个最合理的字输出，如“玉”字；接下来，它会把上次的输出，接到这个问题后面，共同作为下次的输入，以此类推，直到ChatGPT输出“end”结束。

我们再详细一点看ChatGPT的原理：
比如，如果输入“台湾大”，后面可以接的字有很多可能，可以接“学”、“哥”、“车”等等。ChatGPT的输出其实是给每个可能输出的符号一个概率，比如在这个例子中，“学”出现的概率是50%,"车"出现的概率是25%…ChatGPT就按照这些字出现的机率掷色子，掷到“学”的概率最大。所以，ChatGPT每次输出的答案不一定相同。

我们把输出有可能选择的这些符号，就叫做Token。Token是语言模型中很重要的一个概念，甚至ChatGPT在计算价格的时候，都是用生成多少token，要花多少钱来收费。

Token

其实，每个语言模型的token还不一样，token是开发者事先设定好的，就是做文字接龙的时候你可以选择的符号，有个平台(https://platform.openai.com/tohenizer)可以查询openAI的某些语言模型的token是什么。
比如：I am unkillable，虽然是3个单词，却是6个token。

其中，unkillable就被拆成了3个token，即要做3次接龙。

那为什么不能把一个单词作为一个token呢？
因为英文单词无法穷举，因为token是一个可以被选则的符号，所以它必须是一个可以被穷举的东西，这样ChatGPT才能给每个token一个概率值，英文单词那么多，而且还不断有新的单词产生，所以用这种相当于字首字根的东西表示更为方便。

那中文的token是什么样呢？
在OpenAI的GPT系列中，通常不是把一个中文方块字当作一个token，一个中文方块字是好几个token，当然如果你想开发自己的人工智能，想把一个方块字就当作一个token，也是合理的。

掷色子

我们已经知道ChatGPT是按照这些token出现的机率掷色子而得到最后结果。所以，ChatGPT每次输出具有随机性，每次答案不一定相同。

那为什么不能选则输出概率最大的那个Token，而要以掷色子的形式输出呢？
因为每次输出概率最大的那个，不一定能得到最好的结果。可以看19年的这篇论文《The curious case of neural text degeneration》,每次选择概率最大的Token，模型就容易跳帧，不断loop不断讲一样的话，如果是掷色子的话，就能输出很自然的回答。

为甚么ChatGPT有时候也会输出一本正经的胡说八道的答案？
现在我们了解了ChatGPT真正做的事是文字接龙的话，就不难想象说为什么ChatGPT也会回答错误答案，因为这些答案都是凭借接龙接出来的，ChatGPT根本不在意这些答案是否真实或对错。

比如下面这个例子，让ChatGPT介绍台大的玫瑰花节，但是台大根本没有这个节日，它仍然会像模像样的给你一个答案，这个网址也是它自己瞎造的。

ChatGPT既然是做“文字接龙”，那它是怎么进行多轮对话的呢？即怎么知道一些历史信息的呢？
举个例子：

我不需要告诉它把什么翻译成英文，它自己就知道是要把上一个问题的答案翻译成英文，这是为什么呢？
就是在做文字接龙的时候，同一则对话里面，过去你问的问题+ChatGPT的输出+这次你的问题，都会作为新的输入。

文字接龙

语言模型是怎么学会做文字接龙的呢？
网络上的任何一句话，都可以作为语言模型的学习数据，比如“人工智慧真神奇！”这句话，模型看到后就知道，“人”后面接“工”的概率比较大，那就提高“人”后面出现“工”的概率…，"!"后面没话了，那就提高“end”的概率。

那语言模型是怎么输出这个概率分布的呢？
就是Transformer模型。详见其他博客。

ChatGPT历史

OpenAI 在2018年开始就研究有关GPT的模型了。

• 第一代GPT-1：
  模型参数量只有117M，训练数据才1GB。
  

• 2019年诞生第二代GPT-2：
  模型参数量1542M，训练数据40GB。
  GPT-2也可以做问答任务，但是表现一般，正确率只有55%左右。
  

• 2020年诞生第三代GPT-3：
  模型参数量175B，足足是GPT-2的100多倍呀！训练数据580GB，相当于阅读哈利波特全集30万遍，远超过一个正常人一辈子读过的资料量。
  这一代的GPT-3已经会写代码了！
  
  但在所有的任务上的表现也一般，准确率也是50%多左右。
  

GPT只从网络资料学习的缺点：
有人说OpenAI走错方向了，看起来再怎么做文字接龙，也接不出一个通用的人工智能出来。但是OpenAI并没有放弃，他们有篇论文说其实GPT-3已经很聪明了，但它表现不好的原因就是，它不知道人类社会的规则，不知道人类的需求。它就像一个山野里长大的小孩，它只见过网络上的东西，在网络上随便乱学，它并不知道要做什么事情，甚至不知道什么是回答问题。

论文举了如下例子：
我们问它C在下面这段代码里面的含义是什么，它的回答是4个选项，可能因为网络上有很多考题，它在网络上学到的就是看到一个问题，对应四个选项。

• ChatGPT-3.5，也就是第3.5代模型
  这次引入了监督式学习，就是人类老师教给它，想要让它做的事情。
  反过来说，如果GPT网络上爬了数据自己学习，叫作自监督学习，就是自己教自己，相当于课堂前的预习，就叫预训练。所以预训练就是今天很多人工智能成功的关键，预训练好的模型就叫作基石模型，然后经过一些微调，经过人类老师的教学，就可以有很大的提升。
  
  再后来有引入了增强学习，ChatGPT的训练就分为三阶段：预训练+监督学习+增强学习（后面内容介绍）
  其中，监督学习+增强学习 = 对齐，即对齐人类的需求，满足人类的需求。

• ChatGPT-4,第四代模型
  OpenAI 并未公开模型参数量大小和训练数据量
  GPT-4新增的功能就是可以看得见了！就是你可以给它一张图片，然后问它问题，例子：
  

监督式学习&预训练&增强学习

监督式学习

监督式学习的重要性：
其实到今天，ChatGPT背后的原理仍然是一种猜想。在InstructGPT这篇文中有张图，纵轴是模型的好坏，横轴是模型参数的大小，蓝色线是模型自监督学习的结果，也就是自己学习网络数据，红色线是监督式学习，就是啊加入了人类老师指导的结果。可以看到，加入了人类指导，即使参数量很小的模型，都比参数量最大的自监督学习模型厉害。就相当于天资再好的学生，都不如那个虽然天资不好，但老师好好教他的模型，所以说明老师（监督式学习）的重要性。

预训练

预训练的重要性：有预训练后，监督式学习不用大量资料！

预训练有多神奇呢？在多种语言上做预训练后，只要教某一个语言的某一个任务，模型就可以自动学习学会其他语言的同样任务。
举个例子，有个语言模型Bert，它自学过104种语言（预训练），现在人类教它学习英文阅能力测验（微调），但不教它中文的阅读能力测验，然后现场让它答中文的，它也答的出来！

那预训练后，需要多少数据就能微调呢？就是老师需要教多少就能让这个模型学生开窍呢。
仍然是InstructGPT这篇文中也可以看到，人类老师只提供了一万多的数据，就微调好模型了。

增强学习

除了监督式学习，ChatGPT还有增强学习（Reinforcement Learning, RL）来强化它的能力。增强学习就是人类老师只提供回馈哪个答案是更好的。

那监督式学习和增强学习之间什么区别呢？
一个需要人类做解答题，一个只要做选择题。监督式学习需要人类老师提供完整的正确答案（这个很花人力气，多数人可能不愿这么做，可能只有OpenAI的标记员有心力做这件事），但在增强学习中，老师不需要提供完整正确答案，只需要反馈哪个答案更好，因此每个人都可以做。

增强学习原理比较复杂，感兴趣的同学可以学习其他相关课程。
从人类的回馈学习，有个专门的简称：RLHF。

基本概念
当输入一个问题，模型给你两个答案，你就告诉它哪个答案更好，模型就会想办法把你觉得好的答案提高输出的概率，不好的答案降低它的概率。

一般先做预训练，再做监督式学习，最后做增强学习。为什么最后做增强学习呢？
因为模型要有一定程度的能力后，才适合进行增强学习，这样效果更好。
背后的假设就是，你的模型要偶有佳作，必须要有时候能得出不错的答案，人类反馈这个答案是好的，然后提高这个答案的概率才有意义。如果模型输出的效果整体不好，即使人类从两个差的答案里勉强选一个，模型相当于还是在提高差的答案的概率，可能这时候增强学习帮助就不大。因此，增强学习一般放在整个训练过的最后。

ChatGPT中的增强学习：
刚才讲到增强学习就是增强好的那一个答案的概率，但是这样的话，机器只学习到把某一个问题做好，怎样才能做到人类给某一个问题回馈，但是其他问题也能同时做好呢？

ChatGPT的增强学习过程分为两个步骤：

• 模仿人类老师的喜好
  如：当人类反馈“玉山”答案更好的时候，ChatGPT就会另外再训一个Reward Model，就是把问题+所有可能的答案输入Reward Model，输出一个得分，让人类觉得好的答案的分数就高，不好的分数就低，这样就相当于训练出了一个人类老师的代替品。
  好了，现在把人类老师解放了，让Reward Model来代替人类老师的角色。接下来就是步骤2。

• 向模拟老师学习
  现在就可以把问题+答案输入给Reward Model了，让它替人类老师打分，对好的答案打高分，差的答案打低分。
  打低分，降低概率
  
  打高分，提高概率
  

总结：
ChatGPT的训练有三阶段：预训练+监督学习+增强学习

其中，监督学习+增强学习 = 对齐，即对齐人类的需求，满足人类的需求。

几个月前，OpenAI发布了GPT-4，并公开了一份近百页的技术报告，最惊人的是，其中作者群长达三页！说明GPT-4背后的工程非常浩大。这份报告主要是一份炫耀文，告诉你GPT-4有多强，但技术细节只介绍了一段话：

OpenAI 并未正式公布ChatGPT-4用了多少训练数据，以及模型的参数量。

下一步：人类的努力

现在语言模型已经非常强了，接下来就是看通过人类的努力，是否能激发语言模型更大的力量。以下就是介绍一些激发语言模型力量的秘诀。
1.把需求讲清楚
比如：是希望它润色，还是改语法，还是用什么语言扩写，扩写到多少字…

2.提供信息给ChatGPT
比如：让它写一篇作文，它写着自己停下来了，你就写“继续”，给它多提供点你的资料，用什么样的口吻、类型等

3.提供范例
例如：直接给他一个例子，让它模仿

4.鼓励ChatGPT想一想
例如：让它回答鸡兔同笼问题，不同问法，结果不同

有人对比了不同的问法的准确率：

准确率最高的问法，就是神奇的咒语。

5.如何找出神奇咒语
当然你可以通过你的智慧揣摩一下它需要什么样的咒语，还有其他方法：

• 用AI来找神奇咒语
  李宏毅老师实验室曾经尝试过的工作：用增强学习鼓励AI找出更好的咒语。比如，你想让GPT回答的答案长一些，你当然可以告诉它：”你回答的答案要越长越好“。这个话是有用的，但比不上我们找出的神奇咒语，就是不断说“ways…”,它的答案就会更长
  
• Large Lauguage Models as Optimizers
  这是最新的一篇文章，用语言模型来操控另一个模型，找出神奇咒语
  

6.上传档案
可以上传PDF、excel、PPT等，也可以让它帮你做个现成的PPT，虽然很简洁

7.ChatGPT可以使用其他工具
如果你觉得现在ChatGPT的功能不够，它可以呼叫其他外挂来提高它的能力，目前有一千多个外挂，比如：

8.拆解任务
比如22年这篇文章，让GPT生成一篇长篇小说，这个问题有些难，因为它写着写着里面的人物就变了。那怎么办呢？把复杂任务拆解：规划故事人物、场景、每章要写的内容等

9.自主进行规划
如果更复杂的任务，复杂到人类都不知道该怎么拆解成小任务，那就让GPT帮你做计划：

10.ChatGPT其实会反省
告诉它：“请检查上述信息是否正确”。
GPT-3.5没有反省能力，但是GPT-4就可以修改一些错误

这篇文章讲模型怎么自己增进自己的能力：

这篇文章讲让两个语言模型挑战对方的观点：

11.跟真实环境互动
今天所有的语言模型都是在线上，还没法和真实环境有互动，但是已有人研究这个问题：