关于 ChatGPT 的五个最重要问题

关于 ChatGPT 的五个最重要问题
我们判断，如果 ChatGPT 不犯大错，两年之内，整个科技行业甚至人类社会都会被颠覆一
遍。倒计时已经开始了。
在 ChatGPT 纪元中，提问题的能力和判断力也许是人类最重要的两个能力。我们这里提出五
个关键问题，并且试图抛开网络上的二手观点，做出基于原理的判断。
 更详细的科普文可以参考这篇：了解 AIGC 中的 ChatGPT 和 LLM
 其中包含如何在公司快速便捷地使用 ChatGPT
 针对中台业务场景的应用：ChatGPT 在中台业务应用的可能性与探索
这篇文章会尽量用准确的说明与类比（如何区分准确的类比和偷换概念的类比）去解读技术。
但是对于这样一个非常新、非常颠覆、大家对原理和应用都还没形成共识的技术，不了解技术
细节就去打比方，难免信口开河。所以我们会先尽量无损地把需要的技术细节都盘清楚，然后
再去进行抽象和提取本质。
哪五个问题？

1. 是什么：ChatGPT 是范式突破吗？和过往 AI 有什么不同？
2. 会怎样：ChatGPT 两年内会达到什么水准？
3. 行业格局：ChatGPT 以及 GPT 有壁垒吗？
4. 如何参与：我们未来应该如何使用 ChatGPT？
5. 人文：人类和 ChatGPT 的本质区别是什么？对人类社会的冲击？
   还有一个不需要讨论的重要问题：ChatGPT 不会开源的，因为 AGI 是一个危险品。国内那些依
   赖开源+抄的公司可以死心了。指望原子弹开源吗？
   我们搞清楚这五个问题，就能判断市面上大多数解读 ChatGPT 的观点，无论从技术、商业、
   投资，等等角度，是否靠谱了。其实就两个关键
6. 对 ChatGPT 新能力的认知：这新能力是什么，有什么意义？
7. 对“能力获取难度”的认知：ChatGPT 如何获得的？难度有多大？
   文章结尾我们会做一下总结。让你下次见到某大模型，可以判断这是 ChatGPT 的 80%还是
   0%。
   为什么这样问？
   最近到处都在讨论 ChatGPT，就像 A 股 6000 点的时候所有人都在讨论 A 股一样。但是大家的
   问题主要聚焦在于自己会不会被 ChatGPT 取代，中国如何赶超 ChatGPT，ChatGPT 相关概念股
   票是什么，等等。这些问题很重要，但是对于 ChatGPT 这样一个人类高科技结晶的新物种，
   不先搞清楚它“是什么”和“如何牛逼的”，那就没有办法形成自己的判断。没有自己的判断，看
   ChatGPT 就像看元宇宙、Web3、自动驾驶一样，觉得好像牛逼，也有一套看似点只能被别人
   牵着走。
   所以我们先要搞清楚这两个问题。
   搞清楚 ChatGPT“是什么”和“如何牛逼的”是一件困难的事情，因为最顶尖的人工智能大佬们也
   没有达成共识。比如 Meta 的 AI 负责人，深度学习三大佬之一的 LeCun 就不看好，认为这就
   是个基于 auto-regressive（自回归）的 LLM（large language model，大语言模型），从方法上
   来讲没有啥范式突破。只是因为 OpenAI 是个创业公司，大家宽容度比较高，ChatGPT 在乱说
   话，大家也能容忍。
   另一面，ChatGPT 的火热就不说了，比如特斯拉的首席 AI 科学家就选择回到 OpenAI，共建
   AGI（artificial general intelligence，通用人工智能，也是 OpenAI 的追求目标）；Meta 的 VR 创
   始人卡马克选择离开 Meta，自己开一家 AGI 公司。另外一篇文章截取了大佬们的赞誉
   技术讲解环节：“自回归”“大语言模型”是两个关键词
    自回归的意思是，我先用模型预测下一个词是什么，然后把预测出来的词带入模型，去预
   测再下一个词是什么，不断迭代。这是过往语言模型的通用范式。也能让各类语言类任务
   统一成“生成式”任务
    大语言模型是因为 GPT 的海量数据与参数。大语言模型本身也值得技术科普一下，我们在
   第一个问题中展开
   大佬们都认可 AGI 的重要意义，但是对于 ChatGPT 是不是有“范式突破”，是不是 AGI，有重大
   分歧。大佬们无法形成共识，我们有两种选择，一种是做“early-adoptor”，早期采用者（特点
   是懂技术，有 vision，想通过技术带来巨大改变），去在体验和探索中形成自己的观点；一种是
   做“early-mass”，早期大众（特点是厌恶风险，希望追求确定的改善），等着标准成熟，应用也
   有定论，再去采用。作为中台，我们需要抓住 IEG early-adoptor 的身份。所以我们需要在纷杂
   的信息中形成自己的理解和主张。
   这次讨论就想达到这个目的。数科和算法同学会保证信息的准确，知之为知之不知为不知，但
   是观点、主张、区别、共识，需要老板们自己推演出。
   开头：ChatGPT 的最基本版历史
   虽然想直接开始问题，但是一定程度的技术科普还是必要的。这样能在思考问题的时候更加高
   效。我们着重参考两篇综述，尽量抓重点：
8. 大语言模型技术精要（链接）
9. ChatGPT 的各项超能力从哪里来（链接）
   第一份综述主要讲了大语言模型发展中的关键技术突破，第二份综述主要讲了 ChatGPT 发展
   过程中的几个重要模型“做到了什么”和“有什么与众不同的做法”。我们把两篇文章的重点挑出
   来，标注一下里程碑事件，和其意义。
   事件 意义
   Transformer 问世
   让深度学习模型可以“自由吸
   收”数据中的知识
   大语言模型突破了参数和算力限制，从此语言模型也进入
   参数越多，数据越大，模型效果越好的时代。
   LLM 内战，逐渐吊打老 NLP
   Google 的 Bert 路线和
   OpenAI 的 GPT 路线各有所长
   GPT 通过“自然语言生成任务”，兼容了几乎所有 NLP 问
   题；但是 Bert 比 GPT2 表现好。此时大语言模型已经开始
   吊打传统 NLP 模型了
   GPT3 问世
   展示 in-context learning 能
   力，简单调教下就能吊打精
   调过的很多模型
   一方面让 GPT 模式初现一统江湖的潜质，一方面 GPT3 的
   in-context learning 能力，展示了和过往 ML 的 finetuning 模式的本质区别，我们在下面单独详细展开

• InstructGPT
  ChatGPT 的交互模式，让
  GPT 的能力，更加贴近人类
  真实交互方式
  在 in-context learning 基础之上，进一步降低了
  prompting 的门槛；一定程度解决了 GPT-3 生成结果与用
  户期望不一致的非预期输出，大幅降低了有害的、错误或
  偏差的输出结果，让 GPT 更符合人类胃口
• GPT 读代码
  代码训练能力的提升是 GPT3
  到 GPT3.5 的重要迭代之一，
  模型可从而可以生成代码和
  理解代码
  Codex 模型读了大量代码，之后的 GPT3.5 模型涌现出了
  inference 的能力。不光能读懂和生成代码，对语言本身
  的理解和推理能力也解锁了
• RLHF
  ChatGPT 背后的核心技术之
  一，让模型学习人类的偏好
  全称是 reinforcement learning from human feedback，通
  过构建人类反馈数据集，训练一个 reward 模型，模仿人
  类偏好对结果打分，是 GPT-3 后时代 LLM 越来越像人类
  对话的核心技术
  ChatGPT
  InstructGPT 的亲戚，但一些
  优化方式也带来了 ChatGPT
  的更泛化和准确能力，再次
  引爆了 AIGC
  ChatGPT 总体来说和 InstructGPT 一样是使用 RLHF 进行训
  练，但模型是基于 GPT3.5，而且数据设置上也不同。
  ChatGPT 是一个输入，模型给出多个输出，然后人给结果
  排序，让模型可以学习人类的排序策略，即使是一本正经
  的胡说八道看起来也很合理的样子。
  这里面再强调一个关键点。GPT3 之后，很多能力是“涌现”的。即不是线性发展，可预测的，
  而是突然就有了。至于这对于 OpenAI 的人是早晚会发生，还是完全未预料，我们就不知道
  了。这几个“涌现”出的能力，尤其是 inference 的能力，是 ChatGPT 和过往 AI 的范式不同，
  也会是我们这次讨论关注的重点。“涌现”也是大语言模型很神奇的一点，这些能力我们发现模
  型随着数据量和模型大小的提升，就突然具备了，但是我们对这些能力怎么出现的，只有猜
  想，没有共识。这篇文章有一个比较全面的总结和比较。
  下图是 GPT-3 到 ChatGPT 的演变历史
  这里也牵涉到了一个重要的题外话，大概是发生在 in-context learning 和 instruct 这一模式
  下。尤其是对“fine-tuning”这个词的理解。如果用过往模型的经验去想象 ChatGPT 的运作方
  式，就会产生错判。这一误解反而更容易发生对 AI 已经有所了解的从业者身上。
  重要的题外话 – 很多 AI 从业者为什么对 ChatGPT 有错误理
  解？
  过往的 NLP 模型是按照具体任务和具体数据来训练的。所以数据质量越好，模型效果越好。
  而且最好只有正确数据，没有错误数据。大语言模型有一个重要不同，是“数据越多”越好，而
  数据质量变成了重要，但稍显次要因素。
  在一开始，大模型想要在特定任务上取得较好效果，也需要那个领域的具体数据去“fine-tune”
  一下。通过大量的例子，先教给模型，那个领域中什么是好，什么是坏，调节一下模型的权
  重，从而输出恰当的结果。这和过往模型的范式是差不多的。
  而 GPT-3 涌现出的 in-context learning 能力（Google 的 PaLM 大模型也有）和上述范式有本质
  不同，“过往的 fine-tuning”需要更改模型参数。也就是说，换了个新模型，从而在新数据上表
  现更好。但是 in-context learning，模型并没有变化，却能在新数据上表现更好。研究甚至发
  现，你给大模型一堆范例，只要对应关系整体是对的，这时候改变具体对应的顺序，大模型仍
  然能输出正确的结果。这真的很神奇。一定要抓住这一点，模型没有变化，没有被重新训练，
  但是能“理解”新数据，并且表现更好！
  接下来还有更神奇的。在 GPT-Codex 版本解锁了推理能力，以及 InstructGPT 提出了 instruct
  这一方法，他们合体的 ChatGPT 在 in-context learning 的基础之上，展示出了具备 inference
  能力的样子。我们在下一章详细展开。
  1.ChatGPT 是范式突破吗？
  机器学习发展了这么多年，遵循同一个范式。哪怕 2016 年大火的 AlphaGo，也完全没有脱离
  这个范式 – 鹦鹉学舌。
  过往机器学习的范式 – 鹦鹉学舌
  机器学习，包括深度学习，所遵循的范式是“data fitting”，即找到数据中的“对应关系”并应
  用。具体来说，就是 Y=f(X)，给定一些优化目标，机器学习通过学习已知 X 和 Y 的关系，即
  f，让我们在见到一个未知的 X‘的时候，也能根据规律，总结出 Y‘是什么，能最好达到我们的
  目标。
  从信息论的角度，这样的范式，所能总结的规律，应该是在“已有 X 所包含信息的范畴之内”。
  换句话说，遇到一个新的 X‘，虽然没见过，但是应该和过去的 X 长得差不多。用图像识别举
  例，如果模型只在小狗小猫的数据上训练过，是无法区分马车和汽车的。
  这就很像鹦鹉学舌的机制。鹦鹉是不知道那段话的意义的，它用自己的方式去理解了这个发
  音，并且模仿了出来。计算机能更加精准地进行控制和编程，让这个机制发挥更大作用，比如
   图像识别 + 搜索，就能高效找人
   Matrix completion + 用户数据收集，就能高效推荐
   把游戏规则恰当转化为优化方程 + 问题的局部抽象 + 自己生成对局训练，就能下围棋
  推荐算法的原理
   想象一个矩阵，横着是不同的人，竖着是不同的短视频，格子里是这个人对这个短视频的
  兴趣指数，我们要想方设法填满这个格子，给每个人推荐最感兴趣的短视频
   核心问题是在每个人都没看过 99.9999999%短视频的情况下，这题怎么解
   有很多种方式，传统的运营、策略，也是一些方式。现有算法的主要做法是
   1. 把每个视频抽象成特征
   2. 把每个人抽象成特征
   3. 通过特征对特征的方式进行泛化和填表，如果用人来理解的角度，可能是
   中年男人喜欢看钓鱼（内容+画像推荐）
   你同事们喜欢看老板点赞过的视频（关系链）
   看过 AB 的人喜欢看 C（collaborative filtering）
   但是记得，模型抽象出来的特征是适合机器理解，而不是适合人类理解的。用人类能描述
  的方式去描述机器的优化，注定是降低效率的
  由此可见。过往 AI 应用的拓展主要是来自几点

1. 高质量的数据，模型的发展，算力的提升，让模型越来越准、快、和发现更多更深的“对应
   关系”，能进行更好的优化

2. 更好地把商业问题转化为优化问题

3. 和其他能力的深度结合
   但是这些都是基于“鹦鹉学舌”这一范式的。过往的 NLP（natural language processing，自然语
   言处理）就是一个很好的例子。发展了那么多年，语音助手能根据指令来达成一些目标，但是
   从来都没有真的“懂”那些指令。过往的 NLP 只能做“填表”，必须背后有一个人设定好具体的任
   务，规划好如何把语音或者文字形成固定的 function，该 function 如何调用相应的能力。如果
   没有人提前规划，那模型就无法实现。这篇文章总结的非常好，这里就不赘述了。
   上面这个“懂”字，如果深究的话，会发现大家对这个字的定义其实存在很大分歧。我如果让狗
   狗伸手，狗狗伸手了，是“懂”吗？过去 NLP 的懂和 ChatGPT 的懂，又有什么区别呢？分清这一
   点，我们就能分清 ChatGPT“涌现”出来的让大家惊诧的能力是什么了。这里引用朱松纯教授关
   于乌鸦的例子。
   ChatGPT 可能的新范式 – 乌鸦
   原文在这里，介绍了乌鸦是如何“感知、认知、推理、学习、和执行”的：
   总结一下，城市中的乌鸦学会自主串通
    汽车能压碎坚果
    红绿灯能控制汽车
   这两件事情，从而利用红绿灯和汽车，来帮自己达到“打开坚果”这一任务结果。
   如果类比成机器学习模型，过往“鹦鹉学舌”范式的解法，是要求所有乌鸦可以共享一个大脑，
   它们有很清晰的优化目标，即“保住性命的前提下打开坚果”。它们的方式是，随机尝试所有事
   件的组合，并向着最优解的方向不断优化。
   但现实世界的乌鸦无法共享大脑，也不能去冒着死亡风险去尝试所有可能。乌鸦只有一次机
   会，把观测到的两个现象，产生了一个新的可能性，并应用在一个全新的场景下。我们文章里
   暂时把这个能力称之为“inference”。中文翻译为推理，但是它和“deduction”，即演绎、推演，
   又有所不同。
   Inference 的翻译是“基于证据和逻辑推演，得到结论”的过程，有的时候，还要加入很多猜测、
   抽象、泛化。举个例子，ChatGPT 其实表现出了很多新能力，但是我们选择专注其“inference”
   的能力，并且和朱教授五年前的文章联系起来，就是一个 inference。朱松纯教授在文章里就呼
   吁大家去“寻找‘乌鸦’模式的智能，而不要‘鹦鹉’模式的智能”。现在 ChatGPT 让 AI 第一次看似拥
   有了“乌鸦”模式的智能，那当然是一件划时代的大事件。
   但是 Inference 也不是一个特别好的词，因为在机器学习领域里，inferencing 特指使用训练好
   的深度学习模型来预测新的数据这一件事，会产生误解。另外，我也不确定 inference 和“乌鸦”
   的能力是一一对应的。
   在我们自己的文章里，我们会用“乌鸦”来指代 ChatGPT 的新能力。但是在对外交流的时候，
   “乌鸦”需要解释的内容太多，所以我们会简化为“理解”。从“乌鸦”到“理解”，当然是一个信息量
   损失很大的过度概括。但是好处是可以把 ChatGPT 的本质能力凸显出来。过往互联网的两次
   能力跃进一次来自于搜索，一次来自于推荐，现在 ChatGPT 带来了“理解”，也非常有结构
   感。
   ChatGPT 看似拥有“理解”能力的证据
   之所以说“看似”，是因为我们并不知道乌鸦为什么会有 inference 的能力，我们也不完全知道
   LLM 为什么会有“达成 inference 效果”的能力。我们知道的是，LLM 激活 inference 能力的方式
   一定与人类和乌鸦不一样。所以我们不把话说死，只说看似拥有，不确定真的拥有。为了节省
   笔墨，我们接下来就不说“看似”了。
   我们把具体的例子放在附录里，但是有这几点感受很明显
    ChatGPT 拥有 in-context correction 的能力，即如果说错了，给出矫正，ChatGPT 能“听
   懂”错在哪儿了，并向正确的方向修正（案例：）
    描述越详细清楚，ChatGPT 回答得越好。要知道，越详细的描述，在预训练的文本里越难
   匹配到
    在询问 ChatGPT 互联网上并不存在内容的时候，能给出较好答案（案例：我用 ChatGPT 学
   UE5）
    ChatGPT 能通过信息猜你心中的想法（案例：跟 ChatGPT 玩 20 questions）
    你可以制定一个全新的游戏规则让 ChatGPT 和你玩，ChatGPT 可以理解
   前两点是本质，后三点是体感。
   回过来对比过往 NLP 模型范式如何能达到类似效果，就能看到 ChatGPT 的神奇之处。过往模
   型一定需要针对具体的问题进行具体设计，而且只要说的话稍稍不够“结构化”，模型的表现就
   很难保证，更别提在模型资料库里，没有出现过的问题了。
   打比方时间到
   把该说的细节说清楚，我们现在可以负责任地打比方了。其实朱教授鹦鹉和乌鸦的比方最精确
   不过了，但是毕竟人不是鹦鹉和乌鸦，鹦鹉和乌鸦的能力到底有什么区别，也需要一番解释，
   我们还是打一个“人”的比方。
   过往 ML 模型是一个“说话不过脑子”的“复读机”类型的人。好处是这个人记忆力和检索能力都
   特别强，而且有自己的一套理解事物对应关系的方式，让你给他看足够多东西的时候，TA 就
   能找到对应关系。所以你给 TA 看的东西越多，离你的目标越近，TA 的表现越好。问题是 TA
   其实完全听不懂你在说什么，你没教的 TA 也不可能会。
   ChatGPT 是一个“开窍”之后拥有“举一反三”能力的人。而且这个举一反三不光是在“相似问题”
   上，而是能把看似没有联系的事物联系起来，并且做一些逻辑推演。那 ChatGPT 就是一个“懂
   很多”，有很强的“学习能力”，而且“能听懂你”说话。
   提炼对比一下的话
    过往 ML：需要“喂”，之后“模仿”，基于的是“对应关系”
    ChatGPT：需要“教”，之后“懂”，基于的是“内在逻辑”
   后者的能力上限和应用空间，比起前者岂止百倍。这也是为什么大家如此兴奋和焦虑。兴奋是
   因为可能性，焦虑是因为目前只有 OpenAI 一家做出来了 ChatGPT，而且并不开源。如果
   ChatGPT 如此重要且牛逼，但所有人只能基于 ChatGPT 做应用的话，每个人都要重新考虑自
   己的商业模式了。这两个问题都属于“猜想未来”，一不小心就会变成科幻小说，我们基于事实
   和底层理解，用科学的方式去尽量负责任地推演。
   2.ChatGPT 两年内可能达到的上下限是什么？

   全文下载
   https://download.csdn.net/download/Wis57/87840213