探索ChatGPT的无限可能-深入探讨

本节课程，主要讲述与ChatGPT相关的一些基本概念比如概率，涌现，思维链，可解释性问题。这些概念可以帮助大家更好地理解与应用大语言模型ChatGPT。

一：首先谈一谈概率：

我们至今还无法确定人类在语言交流时，大脑神经元是依赖于何种规则运作的，又是如何从过往的知识和经验中去抽取文字输出亦或创造输出。

但ChatGPT作为典型的生成式人工智能应用，却有着一定的规则。

ChatGPT是基于概率的模型，它被训练来预测在给定的语境下，下一个单词或者一系列单词出现的概率是多少。

ChatGPT在构建对话时，会对可能的下一个单词进行评估，并选择对应的单词，注意这个单词并不一定是最高概率的，然后，它会把这个新的单词加入到已有的对话语境中，并再次评估下一个单词的概率。这个过程会一直持续，直到生成一个完整的回答或达到设定的单词限制。所以大家在使用ChatGPT时，可以看到ChatGPT在回应时采用的是逐字输出回答的方式

以上只是一个简化的解释，实际的过程要复杂得多。例如，ChatGPT可以通过调整"temperature"参数来控制生成文本的多样性，"temperature"较高时，模型会更可能选择概率较低的单词，这会导致生成的文本更具创新性，但可能导致不连贯；反之，"temperature"较低时，模型会倾向于选择概率较高的单词，生成的文本可能更连贯，但可能较缺乏新颖性。需要提醒的是，我们平常在通过浏览器使用ChatGPT时是无法调整temperature参数的，仅在通过API调用时，可以调整temperature参数。当然，实际上平常通过浏览器使用ChatGPT时，我们还是可以通过提示引导，引导chatgpt提供更具创造性的回答。

有的小伙伴们可能会问，为什么不是每次都选择最高概率的单词呢？这是因为研究人员发现，选择概率最高的词除了输出内容缺乏新颖性外，内容输出很快也会出现混乱和重复的情况，选择单词时，一定的随机性能获得更好地结果。

另外，ChatGPT有时也会胡编，就如同人类在某些条件刺激下有时候也会胡编乱造输出不真实的信息，尤其是人类尝试着使自己说出的话更具可信性时，就可能会编造一些看似真实的信息，ChatGPT在某些条件下，也会有这种情况。

最后一点需要注意的是除了基于概率的选择，考虑到安全，隐私以及尽可能不作恶的原则，OpenAI在打造ChatGPT的实践中还会对生成的文本进行一些限制和处理，比如删除一些不合适或者不恰当的内容，以确保生成的内容符合一定的规定和准则。

总的来说，ChatGPT是基于概率的，同时它依赖于大量复杂的算法和模型调整来生成高质量、连贯、有用的对话。

二：接下来我们谈一谈涌现。

什么是涌现？生物学家、物理学家等科学家使用涌现这一术语来描述当一大批事物作为一个整体行动时出现的自组织集体性行为。如无生命原子的组合产生了活细胞，细胞的整体组合使肌肉运动和心脏跳动。在人工智能领域，涌现通常用来描述一个对象表现出组成它的部分要素本身所不具备的特性。这些特性往往是通过各个部分的相互作用才能显现出来。这么说可能有一些生涩难懂，更具体点说，ChatGPT在处理特定任务或应对特定情境时展现出了新的、未被直接编程的行为，这些行为不是通过硬编码或特定指令预设的，而是通过模型在大量数据上进行训练时"学习到的"。例如，ChatGPT可以生成诗歌、编写故事、解答问题、进行有深度的讨论等，这些都是从模型训练时使用的大量文本数据中"学习"出来的行为，而非被直接编程所具备的能力。而在某些场景下，大语言模型也展现出了一定的推理能力。这些推理能力并不是直接编程所赋予的，而是大语言模型学习到的。

此外，关于大语言模型的涌现能力，研究人员发现当模型较小时，这些涌现能力是不具备的，而当模型增大到某个规模时，出现能力跃升，涌现能力“突然”涌现出来。

我们也许可以从人类智慧的进化史找到类似的线索，在某些时期，人类大脑神经元进化突破到一定规模，随之涌现出了远超过往的能力，出现智慧的跃升，随之便开启了人类文明进程。

ChatGPT等大语言模型之所以短时间内吸引了如此多的关注，也正是因为其涌现出的能力大大超越了早前人工智能所展现出的实力，也让很多人相信人工智能很快就能跃升发展到全新的阶段。

大语言模型目前已经展现出数百上千种「涌现（emergent）」能力。但是，研究人员还不能很好地理解涌现是如何发生的，所以研究人员也在努力寻找与确定大模型的涌现能力，同时弄清楚它们发生的原因和方式，因为随着模型的规模扩大与快速扩展，涌现所导致的不可预测性，使得研究人员愈加难以掌控。 —— 理解涌现性可以揭示与人工智能和机器学习相关的深层次问题的答案，比如复杂模型是否真的在做一些新的事情，或者只是变得更加擅长统计。这个过程本质上是试图预测不可预测性，它可以帮助研究人员利用大语言模型潜在的优势同时减少涌现可能带来的风险。

需要注意的是刚刚提到的ChatGPT所涌现出的推理能力，这种推理能力可能并不是基于对事物的真正理解而产生的推理能力，研究人员目前还不能很好地理解其过程，至少我们到目前为止还是认为大语言模型并没有真实的理解对话内容以及自我意识。

三：讲述了涌现，我们接下来谈一谈思维链

之前提到，模型复杂度也就是参数级别增大到某个规模时，出现了能力跃升，也就是涌现现象。但经过大量的探索，研究人员也意识到，模型的复杂性并不是其性能涌现的唯一驱动因素。

研究人员发现，在使用模型时，所使用的措辞方式会影响到模型响应的准确性。比如通过一些类似思维链推理过程的引导或解释性提示，可以引导模型正确地解答数学应用题。而没有该提示的同一模型却不能解答该应用题。下面是关于思维链的一个例子

上述的提问方式下，语言模型可能会给出错误的答案。但是如果你的提问增加一些思维链提示：

如果给出合适的引导：请先换算成相同的单位再回答这个问题。大语言模型便能依照该思考方式给出正确的答案。

可以看到思维链提示的过程有时就很像学生遇到了无法顺利解答的问题时，如果老师给出一些解题思维方法提示，学生便能更顺利地得出正确的答案。

研究人员发现，思维链提示确实能改变能力扩展曲线，从而改变模型涌现出现的节点。这些发现也表明了涌现出现原因的两种可能性。第一个可能性是正如生物系统那样，更大的模型规模确实会自发地获得新的能力。这很可能是该模型学到了一些全新的和不同的东西，而这些东西在较小规模的模型上是没有的，当模型达到一定规模时才会发生一些根本性的变化。另一种可能性是，看似涌现的能力可能是通过思维链式地推理，驱动了内部统计模型实现能力扩展。大型大语言模型可能只是学习了某种启发式方法，而这些启发式方法对于参数较少或数据质量较低的小模型来说是难以理解和学习到的。

当然由于我们还不能完全弄清楚模型底层的工作机制是怎样的，所以我们仍然无法说出到底发生了什么，而在研究清楚模型规模的影响之前，我们甚至无法得知它的边界在哪里，可能会出现什么样的能力以及它的缺陷是什么。

四：可解释性问题

我们在讲述涌现时，提到了不可预测性，为什么不可预测，因为目前大语言模型所表现出的很多能力，是难以解释的。

在人工智能领域，可解释性是指模型决策过程的透明度，以及我们能够理解和解释这些决策的程度。可解释性是一个重要的问题，尤其是在模型的决策可能会对人们产生重大影响的场合。

在聊天机器人，如ChatGPT中，可解释性问题主要表现在以下几个方面：

第一是黑箱问题：GPT系列的模型通常被视为"黑箱"模型，这是因为它们内部工作机制非常复杂，难以解释。这些模型会在大量的数据上进行训练，学习数据中的统计模式，然后根据这些模式进行预测。然而，我们往往无法准确理解或解释模型做出某个决策的具体原因。

另外还有模型的不可预知性：虽然深度学习模型的行为是在训练过程中学习的，但在具体的使用场景中，模型的具体表现可能难以预知。例如，ChatGPT可能会生成我们完全没预料到的回答，而我们很难在不运行模型的情况下预测它会生成哪些内容。

此外还有训练数据的不透明性：像ChatGPT这样的模型是在大量的文本数据上进行训练的。然而，由于版权和隐私问题，这些训练数据通常无法公开，这意味着我们无法准确了解模型在学习过程中接触到了哪些信息。

可解释性问题是深度学习领域的一个广泛存在的问题，也是当前AI研究的重要课题之一。如之前所述，当一个模型的决策可能会对人们产生重大影响，我们则应该谨慎对待。目前GPT-4的参数级别达到百万亿，与人类大脑神经元数量相当，其展现的能力已经令人惊讶。

比如研究人员对GPT-4的考试能力进行了评估， 在模拟律师资格考试中，成绩在考生中可以排名到前 10% 左右，在 SAT 阅读考试中排名前 7% 左右，在 SAT 数学考试中排名前 11% 左右。而据说国内也有人评估了GPT-4模拟高考考试的成绩，最终的成绩结果也是超出了本科录取线100多分。

而如果未来GPT等大语言模型进一步扩大规模，比如大大超越人类大脑神经元数量的参数级别，我们确实无法得知会涌现出哪些我们无法预测的能力或智慧。就正如在电影超体中，主角（斯嘉丽）随着大脑的高度开发，同时伴随大量能源的消耗，演化出远超人类文明的智慧。人工智能是否也会演化出更高的智慧，又或如同某个阶段人类智慧的跃迁促使人类文明开启一样，人工智能是否会在某个阶段实现跃迁，开启全新的进程，而新进程的开启，又会对人类文明本身产生何种影响，这些到目前为止都是不可预测的，而这些不可预测性，也可能使得人类对人工智能的发展，在演进的过程中将逐渐失去掌控。所以我们的研究人员目前也正在努力地寻找和解释线索，以便在研究如何更好地解释人工智能的同时，也能更好地掌控人工智能对人类文明的影响边界。

探讨得似乎有点过于发散了，本节课程就聊这么多，我们做一下总结。本节课程主要讲述了大语言模型中的一些概念性知识，大语言模型本质上是基于概率的模型，但是在思维链引导下，以及随着参数规模的扩大，涌现出了超越本身概率计算的能力，这个能力的涌现过程到目前为止难以解释，也不可预测，所以我们需要谨慎对待大语言模型以及人工智能的发展。

讲完这些概念性，抽象性的知识，我们下一节课将讲述一些实操性的内容，也就是使用ChatGPT时如何优化提示，包括少样本提示，思维链提示技巧，我们会构造一个高效的提问框架，用于帮助大家在使用ChatGPT时能高效的写出提示语句，引导ChatGPT给出我们期望的回答。