ChatGPT的底层逻辑

“一些未知的东西正在做我们不知道的事情。” —— 阿瑟·爱丁顿

“为何不尝试制作一个模拟儿童思维的程序呢？” —— 艾伦·图灵

“只要是人脑能提出的问题，它就能够得到解决。” —— 库尔特·哥德尔

开始

传说中的扫地僧，在现实中极其罕见。

有些僧，只是在假装扫地；而绝大多数“扫地僧”，并非真正的高僧。

电影《心灵捕手》讲述了这样一个少年天才，清洁工“呆萌”在大学拖地板时，解出了麻省理工学院数学系教授给出的难题，他的天赋震惊了这位菲尔茨奖（数学界的“诺贝尔奖”）得主。

谁是电影中贫苦而不羁的天才主角的原型？

人们也许会想起沃尔特·皮茨，一位在计算神经科学领域工作的逻辑学家。

他提出了神经活动和生成过程的具有里程碑意义的理论表述，这些表述影响了认知科学和心理学、哲学、神经科学、计算机科学、人工神经网络和人工智能等不同领域，以及所谓的生成科学。

某种意义上，正是 ChatGPT 的源头所在。

上世纪三十年代，皮茨在芝加哥大学扫地时，大约是 15 岁。这是他人生当中重要的转折点，也几乎决定了当今最火热的神经网络的起点。

皮茨出身于一个穷苦家庭，和《心灵捕手》的主角一样，打架之余靠在公共图书馆里借书自学，他喜欢逻辑和数学，还掌握了希腊语、拉丁语等多门语言。

住在贫民区的他，12 岁时花三天时间读了罗素的《数学原理》，并写信给作者指出其中的错误。惜才如命的罗素立即邀请皮茨去剑桥大学当研究生，未果。

15 岁初中毕业时，父亲强行要他退学上班养家，皮茨离家出走了。

无处可去的皮茨得知罗素要到芝加哥大学任教，只身前往，果真撞见了旷世大师。

罗素爱才之心不减，将他推荐给哲学家卡尔纳普教授。

听闻皮茨是少年天才，卡尔纳普把自己的《语言的逻辑句法》一书给皮茨看。皮茨很快看完，并将写满笔记的原书还给作者。

这位著名的分析哲学家深感震撼，为初中毕业生皮茨安排了一份在芝加哥大学打扫卫生的工作。

电影里那令观众动容的一幕在现实世界出现了。扫地的工作不仅可以令皮茨不仅不用流浪街头，还让他能跟随大师们自由地探索真知。

命运在此刻埋下的最大注脚，是让这个可怜而又幸运的孩子，在两年之后遇见此生对他而言最重要的一个人。

1940 年，17 岁的皮茨与 42 岁的麦卡洛克教授相逢，从此两人一起改变了世界。

与人生混乱不堪的皮茨截然不同，麦卡洛克先后就读于哈佛、耶鲁和哥伦比亚大学，拿了一串眼花缭乱的学士、硕士和博士学位。

麦卡洛克也不像《心理捕手》的那位落寞的心理学教授，他出生优越，家庭幸福，事业蒸蒸日上，过着主流而正统的生活，学术上已经受到广泛赞誉。

可是，两个仿佛来自不同时空的人，在思想的最深处走到了一起。

1943 年，麦卡洛克和皮茨发表了题为《A Logical Calculus of the Ideas Immanent in Nervous Activity》的论文，首次提出神经元的 M-P 模型。

该模型借鉴了已知的神经细胞生物过程原理，是第一个神经元数学模型，是人类历史上第一次对大脑工作原理描述的尝试。

M-P 模型

M-P 神经元是一个理想化的简单模型，基于生物神经元的基础特性进行建模。其工作原理如下：

神经元接收一组二进制输入，每个输入都与一个权重相对应；

当加权输入之和超过某个阈值时，神经元被激活并输出1，否则输出0。

这种机制很好地模拟了生物神经元的"全部或无"的响应模式。

M-P 模型的影响力在于它是一个很好的开始，为后来复杂的神经网络模型铺平了道路。

然而，M-P 模型也有很大的局限性，比如它无法学习和调整自己的权重，以及只能处理二进制输入和输出。

这个模型是人工神经网络和深度学习发展的基石。

现代的神经网络模型比 McCulloch-Pitts 模型复杂得多，但是它们的基本原理——根据输入计算输出，并且有可能调整自身以优化这个过程——仍然是相同的。

麦卡洛克和皮茨的论文不仅是人工智能历史上的一个重要里程碑，为理解大脑工作机制和发展人工智能打下了基础，还启发了人们：

生物大脑“有可能”是通过物理的、全机械化的逻辑运算来完成信息处理的，而无需太多弗洛伊德式的神秘解释。

麦卡洛克后来在一篇哲学文章里自豪地宣告：

“我们知道了我们是怎么知道的，这是科学史上的第一次。”

（本节部分参考了《人工智能简史》和《智慧的疆界》）　
　　###### 如果您也对AI大模型感兴趣想学习却苦于没有方向👀

小编给自己收藏整理好的学习资料分享出来给大家💖

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码关注免费领取【保证100%免费】🆓

一

麦卡洛克和皮茨发表那篇里程碑式论文的同一年，艾伦·图灵正在布莱切利公园破译德国恩尼格玛密码机。

他和团队用智慧拯救了数十万的生命，对盟军在二战中的胜利起到了关键作用。

他们的交集同样与罗素有关。

在 20 世纪初，数学家和逻辑学家都在试图找到一种能够将所有的数学真理减少到一套简单的公理和逻辑规则的系统。

这就是著名的希尔伯特计划，由德国数学家大卫·希尔伯特提出。

罗素及其合作者怀特海在《数学原理》一书中就做了这样的尝试，他们试图将数学基础建立在形式逻辑的基础之上。

然而，希尔伯特计划在 1931 年遭到了挫败，因为哥德尔证明了他的不完备性定理。这个定理表明：

任何足够强大的形式系统，都存在一些在该系统内部既不能被证明也不能被反驳的命题。

1936 年，图灵在一篇论文里研究了希尔伯特的“计算性”和“判定性问题”。

为了解决这个问题，图灵首先定义了“计算”这个概念，并创建了图灵机，这是一种理论上的计算设备。

然后，他通过构造了一个图灵机无法解决的问题（即停机问题）来证明判定问题实际上是无法解决的。

这意味着没有一个通用的算法能对任何可能的问题都给出答案。

一个意外收获是，图灵创立了一个新的研究领域——计算理论（或可计算性）。

图灵机给出了一个对“计算”或“算法”进行形式化的方式，这不仅在他的原始问题中有用，而且对整个计算机科学的发展产生了深远影响。

实际上，现代所有的电子计算机都是基于图灵机模型的，这使得图灵机成为了计算理论的核心。

没有证据表明麦卡洛克和皮茨看过图灵的论文。他们两个人的共同兴趣是，应用莱布尼茨机械大脑的设想来建立一个大脑思维模型。

《数学原理》中仅使用了与、或、非三种基本逻辑运算，就将一个个简单命题连接成越来越复杂的关系网络，进而描述清楚了整个数学体系。（尽管并不完备）

麦卡洛克则构想：人类的思考，是否也是靠神经元来执行这些最基础的逻辑运算而实现的？

皮茨在数学和逻辑上天赋，帮助麦卡洛克完成了这一伟大构想。

麦卡洛克和皮茨（左）

麦卡洛克和皮茨在 1943 年提出的神经元模型，构成了今天我们称之为人工神经网络的基础。

他们的模型描绘了一种简化的神经元，当其接受到的输入超过一定阈值时，就会被激活并向其它神经元发送信号。

这个模型的一个关键思想就是，即使每个单独的神经元都很简单，但是通过将它们联接在一起，就能形成一个能处理非常复杂问题的网络。

虽然单一的麦卡洛克-皮茨神经元只能完成简单的逻辑任务，但是，当将这些神经元组成一个复杂的网络时，神经网络就能进行复杂的计算，从而表现出图灵完备性。

事实上，神经网络是实现人工智能（AI）的重要方法之一。

通过设计不同的网络结构，并使用大量的数据对网络进行训练，人工神经网络可以学习到完成各种任务的能力，包括图像识别、语音识别、自然语言处理等等。

二

AI 的神经网络，是对人类大脑和基于社会化网络的人类群体智慧的模仿游戏。

人类大脑神经元结构和工作原理如下：

图片来自《深度学习的数学》一书

以上原理，用计算模拟和解释，就是：神经元在信号之和超过阈值时点火，不超过阈值时不点火。

20 世纪五六十年代，‍‍‍‍奥利弗·塞弗里奇创造了名为“鬼域”的概念。这是一个图案识别设备，其中进行特征检测的“恶魔”通过互相竞争，来争取代表图像中对象的权利。

“鬼域”是生动的关于深度学习的隐喻，如下图：

图片来自《深度学习》一书

上图是对当前多层次深度学习网络的隐喻：

1、从左到右，是从低到高的恶魔级别。

2、如果每个级别的恶魔与前一个级别的输入相匹配，就会兴奋（点火）。‍

3、高级别的恶魔负责从下一级的输入中提取更复杂的特征和抽象概念，从而做出决定。然后传递给自己的上级。

4、最终，由大恶魔做出最终决定。

《深度学习的数学》一书中，依照如上隐喻，用一个生动的例子，讲解了神经网络的工作原理。

问题：建立一个神经网络，用来识别通过 4×3 像素的图像读取的手写数字 0 和 1。

第一步：输入层

12 个格子，相当于每个格子住一个人，分别编号为1-12。如下图。

第二步：隐藏层

这一层，负责特征提取。假设有如下三种主要特征，分为为模式A、B、C。如下图。

不