ChatGPT（大预言模型）在做什么？它为何能做到这些？

1、Token(标记)

       GPT在写文章的时候每次都会添加一个词，通过标记得到一个带概率的词列表，随机选择合适的词加入文章中。

2、温度

       “温度”参数确定低排名词的使用频率，对于文章生成而言0.8最好。零温度：只选择概率排名最高的词。

例：IN：NestList[StringJoin[#,"Decision"]]&,"The best thing abount AI is its ability to",7]
OUT："The best thing about AI is its ability to",

"The best thing about AI is its ability toDecision",

"The best thing about AI is its ability toDecisionDecision",

"The best thing about AI is its ability toDecisionDecisionDecision",

"The best thing about AI is its ability toDecisionDecisionDecisionDecision",

"The best thing about AI is its ability toDecisionDecisionDecisionDecisionDecision",

"The best thing about AI is its ability toDecisionDecisionDecisionDecisionDecisionDecision"

3、概率

有了足够的文本，对每个字母出现的概率做一个测算，用这个概率写文章。又可以利用生成的二元(一次关注2个字母)甚至n元的字母的概率生成新的“随机的词”，随着n越来越大，就会发现他们和现实越来越接近，也就是为什么ChatGpt有时会造词。

4、模型

       使用的任何模型都有某种特定的基本结构，以及用于你和数据的一定数量的“旋钮”(即可设置的参数)。Chat GPT使用了200亿个参数，足以生成一个“足够好”地计算下一个词地概率的模型，从而生成合理的文章。

5、类人任务(human-like task)的模型

       大语言模型中常用的类人模型：图像识别。我们给一个关于N个数字‘2’的逐渐模糊的图片，就会发现它会逐渐识别不出。

6、神经网络（对大脑工作机制的简单理想化）

       基本思想：利用大量简单（本质上相同）的组件来创建一个灵活的“计算结构”，并使其能够逐步通过学习样例得到改进。当前大部分用的是微积分。

对多个神经元按层排列，每一层不同的神经元会得到不同的概率，这些概率组合起来就会得到最终模型输出的结果。我们并不知道大脑是如何思考出一个问题的，但挑选出事物的关键点去和网络匹配（或者人工训练），即让神经网络去进行“机器学习”确实是个好办法。

       神经网络训练自动驾驶汽车时，用完了实际的视频等数据，可以继续在模拟的游戏环境中获取数据，而不需要真实场景的所有细节。

       Chat GPT很好的一个点在于可以进行“无监督学习”，可以直接从它得到的任何文本样例中学习，以完成如何续写一段给定的文本的任务。

目前的神经元只能可数的更新，而大脑的每个神经元在每次学习之后都会更新。

7、机器学习

       在每个阶段看一下我们离想要的函数“有多远”(损失/成本函数：得到值与真实值之间的差异的平方和)，然后朝更接近该函数的方向、损失值逐渐减小的方向更新权重。

8、嵌入的概念

       嵌入是一个抽象的概念，指的是用数组来表示事物的本质特征。相似的事物会用相近的数组来表示。

比如：

9、ChatGPT的内部原理

       Transformer架构的注意力机制：输入标记序列以找到对应的嵌入；逐层处理生成新的嵌入；最后生成概率分布。

10、ChatGPT的训练过程

        神经网络的训练包括两个步骤：提供样例和调整权重。样例必须足够多以确保训练的充分性；而权重的规模则与网络规模和训练数据的总量相匹配。

11、在基础训练之外

        提出了一个巧妙的构思：利用人类来评价人工智能的输出结果，并通过另一个人工智能来预测人类的评分，从而模拟人类的反馈来优化人工智能的性能。

提示词在人工智能应用中具有重要作用。通过给出适当的提示词，人工智能往往能够成功利用这些提示来生成满意的结果。

12、ChatGPT的核心优势

        假设：语言在根本上比看起来更简单，逻辑是理解语言的关键。

语义、语法与计算语言的力量，假设：如果人工智能真的能够超越人类智能水平，那么必然存在一种比人类语言更精确的计算语言来描述这个世界。

13、意义空间和语义运动规律

意义空间指的是在语言特征空间中相近的概念用相近的词来表示。

语义运动规律描述了在意义空间中语言运动的规则。

更通用的语义语法能够处理简单的模式。一旦建立起整体计算语言框架，我们就能够以更精确和形式化的方式处理以前难以触及的事物。这究竟意味着什么呢？我们拭目以待。

14、ChatGPT与Wolfram的比较

自然语言是ChatGPT和Wolfram的共同接口，使得两者可以进行交互。Wolfram能够将从ChatGPT获得的自然语言转化为符号语言，并应用其强大的计算能力。

ChatGPT给出的错误结果通常被称为“AI幻觉”。在计算方面，ChatGPT给出的是估算答案，其结果接近正确但并非完全随机，也不保证绝对正确。因此，在创意型工作中使用ChatGPT可能更为合适；而在医疗咨询等真相至关重要的场景下则应谨慎使用。

与ChatGPT相比，Wolfram更像一个计算系统，能够提供精确的内容；但在生成需要创意的文本方面能力稍显不足。