注：几篇关于AI 教父 Hinton 的文章合集。
AI 教父拿下诺奖，却很后悔
原创 朱秋雨 南风窗 2024 年 10 月 09 日 17:38 广东
作者 | 南风窗记者 朱秋雨
编辑 | 向由
10 月 8 日，2024 年物理学奖花落两位 “冷门学者”：91 岁高龄的约翰・霍普菲尔德（John Hopfield）和 77 岁的杰弗里・辛顿（Geoffrey Hinton）。
这是令人意外的一次颁奖。毕竟，数个诺奖预测都相信，物理奖应该是天体物理、粒子物理、应用物理、量子物理、凝聚态物理、经典物理、原子分子和光物理七大类中的一个。诺贝尔物理学奖不应是两个研究机器学习（Machine Learning）、掀开当前人工智能（AI）革命的大师与教父。
被称为 “AI 教父” 的辛顿自己没有想到，一个身体不好，坐不了飞机，三任妻子都死于癌症的男人，会收到诺贝尔物理学奖获奖的通知电话。
10 月 8 日，在瑞典斯德哥尔摩举行的 2024 年诺贝尔物理学奖公布现场 / 新华社记者 彭子洋 摄
而仔细查看他们的研究会发现，在终其一生的思索里，他们都在试图用数学系统发明计算机神经网络，模拟人类大脑工作。人脑有 100 万亿个神经元连接，随时随地在互动与发射信号，像深海般充满奥秘。要想实现神经网络的野心，他们不可避免地运用物理、生物、心理学等领域的知识与灵感。
于是，1980 年代，两个跨学科的天才都提出了令 21 世纪惊叹的发现：约翰・霍普菲尔德运用物理学原子自旋原理，发明了一种得以保存记忆的神经网络。后人以他的名字命名，Hopfield 神经网络。
至于教父辛顿，他以 Hopfield 网络为基础，开发了一种新的神经网络：玻尔兹曼机（Boltzmann machine）。这个晦涩的新词，灵感同样来源于物理学 —— 奥地利物理学家路德维希・玻尔兹曼百年前提出的理论，涉及一个与 AI 完全无关的现象（加热气体中粒子的平衡）。
科学的突破与发现并非一蹴而就。人工智能在过往 30 多年发展起起伏伏，充满嘈杂声响，信念不断被推倒又重建。以辛顿为代表的 AI 学者，用他们的人生证明：有时候，成功来源于走在前方无人小径时，最大程度地坚持自我。
1 处处碰壁的天才
77 岁的杰弗里・辛顿，随着 ChatGPT 等大模型的火爆，在近年越来越名声大噪。他早已是图灵奖得主，密集地接受各方采访。
不过，说的内容并非所有人都爱听。就像那位不苟言笑的核物理专家奥本海默，他张口闭口说 AI 可能对人类的威胁，强大的超级人工智能会让人类进入末世，仿佛这个工具是别人发明的一样。
杰弗里・辛顿
除了这种看似知识分子的反思与忏悔，真正接触过辛顿的记者，都在回头书写时记录下了对他的印象：身体不好。从 2005 年开始，辛顿的腰背部出现问题。他开始很难坐立，不敢搭乘飞机出行，平时办公也是站着的。遇上商务宴席，他也不能坐在椅子上，而是选择双腿跪在地上，经常换来服务员奇怪的眼光。
他曾形容自己破烂的身体：“我每天都很煎熬，情况发展到了可能会瘫痪的地步，所以我很认真地对待这件事。如果我能完全控制自己的生活，它就不会带来任何问题。”
失去控制总是让人心生绝望，但在辛顿的人生里，他从来都是与缺乏确定性、无法受控的事情相伴。1947 年，辛顿出生在英国一个科学家和教授世家，父亲是研究甲虫的剑桥生物学家。他的亲戚们还包括《牛虻》的作者艾捷尔・伏尼契；“中国人的好朋友”、写中国土地革命《翻身》的作者韩丁；参加曼哈顿计划的女核物理学家寒春……
而在十几岁时，早慧的辛顿已经遇上了促使他思考一生的命题。他回忆，那是高中时期，一位朋友问他，“你知道吗？大脑的记忆并不是储存在某个特定的地方，而是分布在整个大脑，在整个神经网络里传播，就像全息图一样工作。” 他从此开始对人脑机制产生了浓厚兴趣。
大学期间，因为这个问题，辛顿曾学过 5 个专业，先是数、理、化，大二时又学了哲学、建筑学，后来又攻读了心理学。四年大学让他发现，所有的这些学科都无法解答人脑神经元如何连接并工作的奥秘。最终，毕业后的辛顿选择当一名木匠。
当木匠可以让人收获平静，这是他高中时期最高兴的活。只是，这位天真的知识分子也发现，没有内耗的活往往匹配较低的薪水，他不适合用此谋生。这段日子里，一到周末，他就到图书馆自学大脑工作原理。
1972 年，他再度 “转行”。凭借发表论文，他到爱丁堡大学就读人工智能学的博士 —— 又是一个全新的领域。
尽管他不熟悉计算机科学，辛顿却有着自己的直觉和信念。不巧的是，此时正值人工智能的寒冬，人们从过往对 AI 的极度乐观，到被冰冷的现实鞭打至谷底。1971 年，英国政府进行了一项人工智能进展的研究，结果显示，“大多数人工智能研究和相关工作人员承认，他们对过去 25 年取得的成就感到非常失望”。
报告称：“迄今为止，AI 在任何地方取得的成果，都没有实现它当初承诺的重大影响。”
图源：八斤制图
令人沮丧的结果并非致命的，更大的问题是，在当时人工智能界，人们开始广泛地怀疑从前的信念，即运用模拟人脑的神经网络，进行机器学习（神经网络只是众多机器学习算法和模型的一种）。
最著名的论断来自于当时的 “人工智能之父” 马文・明斯基。他对模拟人脑的 “联结主义” 派表示公开怀疑，认为计算机如果要拥有人类智能，必须用属于计算机的方式来实现。1969 年，他为此专门写了一本书，写道，“多层感知机（1960 年代的一种神经网络）不会有发展前景，因为世界上没人可以将多层感知机训练得足够好，哪怕是令它可以学会最简单的函数方法。”
明斯基的论断解释了 AI 为何过去失败了，也让人们重新拥抱了新的愿景 —— 符号人工智能。1972 年，连辛顿的博士导师朗吉特・希金斯都被明斯基的理论说服了。他开始劝说自己的学生，换一个有前途的方向吧，别做神经网络了。
辛顿回忆：“我们每周见一次面，有时会以一场大喊大叫的争论结束。”
《我，机器人》剧照
博士期间，他的研究方向始终与导师期望的背道而驰。辛顿说，他认可明斯基指出的神经网络的缺陷，但与多数人的选择不同，他想继续往 “有缺陷的方向” 前进，完善前人指出的漏洞。
至于他能这么做的原因，辛顿回忆，这可能是源于他从小在宗教学校上学，却是全班唯一不信仰宗教的人。“这对科学家是一种很好的训练，让你对自己的观点充满信心。每个人都可能是错的，你需要坚持自己的主张，直到实现它或者（彻底）否定它。做科学就需要这样的精神。”
2 交叉学科的力量
固执的辛顿在 1978 年顺利博士毕业。当时的学者也没预料到，他的坚持从此掀开了人工智能深度学习革命，并让 21 世纪的各大巨头争相进行科技军备竞赛。
那时博士毕业后，孤独的辛顿漂至了美国，总算在加州大学圣迭戈分校找到了一些志同道合的人士。他们有的来自神经生物学，有的像辛顿一样来自认知科学系，重要的是，他们分享着对联结主义的信仰，相信用计算机多层神经网络可以模拟人类大脑的演算方式。最终，机器也可以像蹒跚学步的孩子一样自我学习和进步，拥有推理能力。
看上去像天方夜谭的野心，却在当时被一群人真情实意地相信着。1982 年，加州理工学院教授霍普菲尔德率先开发了一种神经网络，用于模拟大脑如何相互作用并产生稳定记忆。
霍普菲尔德获奖后的第一张照片
这个神经网络的构建，也汲取了人类大脑的工作智慧。霍普菲尔德曾回忆，促使他走向这条道路的是一次受邀参加神经科学的会议。会议内容令他着迷，并让他开始思考神经网络的动力学特性。
人脑的运作好比需要集体演奏的交响曲，只有当神经元共同作用时，它们才能产生新的、强大的特性。“如果你只关注网络中的每一个独立神经元，是很难察觉这些特性的。” 他说。
拥有物理学背景的霍普菲尔德，开始想到原子自旋而产生的特性。这一特性使每个原子都成为了一个微小的磁铁。相邻原子的自旋会相互影响，自旋方向一致的区域得以形成。
运用自旋特性，霍普菲尔德成功构建了有节点和连接的神经网络，并以能量函数作为表达。大致实现原理类似于人类的联想记忆。比如，如果神经网络接收到不完整或稍有失真的模式时，该方法能够通过能量的原理，找到与之最相近的已存储模式。
霍普菲尔德的模型示意图。首先让分子体系记住右下角的图像（字母 “J”）。此时，如果将分子体系的状态改成右上角的图，那么每个分子会按照既定的规则更改自身的能量，最终使得整体重新回到右下角的图像
记忆、存储、重现信息，这是霍普菲尔德神经网络的进步，也被后人视为联结主义复兴的标志。更年轻的辛顿也深受影响和鼓舞。
1986 年，辛顿与两名学者共同发表了一篇题为 “通过反向传播误差来学习” 的论文，成为了当代机器深度学习的奠基之作。
所谓的反向传播，实际是一个基于微分的算法。需要指出的是，1980 年代的研究重点与上世纪 60 年代已经截然不同：1960 年代的神经网络是一个单层网络，而吸取了明斯基教训的科学家们在 20 年后，希望建立的是有多层结构的神经网络。
他们相信，只要研究人员能够建立一个多层的网络，每一层都向下一层提供信息，这个系统就可以学习过去无法理解的复杂图形。换句话说，一个更像大脑的系统就会出现。
这个过程变成了解出嵌套函数的数学问题。如果要训练一个符合现实的神经网络，科学家们发现，他们的工作重点需要考量神经网络的输出和真实结果之间的误差；接着选择恰当的损失函数来表示误差，再根据梯度下降等优化算法，一步步修正权值参数，最后得到能拟合的神经网络模型。
在输入层和隐藏层之间具有两层隐藏节点的馈送网络输出层
但新的难题出现了：多层神经网络内含多个隐藏层，当误差出现时，研究者们很快发现，他们极难找到误差是在哪发生的。
擅长叛逆的辛顿与同事们同时也擅长逆向思维。1986 年，他们提出反向传播算法，精髓是将误差从输出层开始倒推，反过来逐层把误差传播至每一个隐层上，直到输入层为止。每一层都依赖后面已经计算好的信息去完成求导，故称作 “反向传播”。
反向传播成功解决了多层神经网络的训练问题，证明了神经网络绝非停留在想象里的空中楼阁。
同一时期，辛顿与同事们发明了玻尔兹曼机。
玻尔兹曼机和霍普菲尔德模型的不同在于，内部增加了隐藏节点，使得节点之间可以通过概率调节整个网络的功能
这个新神经网络汲取了统计物理学的原理，希望分析各个组件能够共同存在的各种状态，并计算它们出现的概率。这也是当今短视频等平台算法令人无法自拔的基本原理：算法可以分析和找到大数据之间的联系，接着计算不同类别的人最大概率会喜欢和讨厌的内容，并根据每次的点击情况，实时进行概率计算和内容推送。
1986 年，经过训练的玻尔兹曼机能够识别出它未曾见过的信息中的熟悉特征。这也就意味着，计算机拥有了自我学习的能力，这正是神经网络的拥趸多年来所期许的。
辛顿和同事谢诺夫斯基都为此激动不已。“这是我一生之中最激动人心的时刻，” 谢诺夫斯基说，“我们确信，已经弄清楚了大脑是如何工作的。”
3 冷门二十年
约 30 年后，诺贝尔物理学奖认可了玻尔兹曼机的发明。
“他们都是真正的先驱者，寻找到了解决问题的新方法。” 诺贝尔物理学委员会成员 Anders Irbäck 教授在 2024 年盛赞。
只是，对 80 年代的辛顿来说，萦绕在前方的仍是时而大喜、时而大悲的情绪，以及与科学有关的迷雾之中。
他和同事都以为将改变世界进程的玻尔兹曼机，只在 80 年代末期人工智能的又一波热潮时得到了关注。
1990 年代，人工智能发展再度进入瓶颈期。各种基于统计的机器学习方法兴起，研究神经网络的人越来越少了。辛顿成为了少数几个仍在其中坚持的人。
杰弗里・辛顿曾在社交媒体上写道：毛毛虫提取营养物质，然后转化为蝴蝶。GPT-4 也像人类社会的蝴蝶般，提取了人类数十亿的知识
后来人们才发现，当时的停滞并不代表辛顿提出的理论和设想是错误的。想法受限于当时计算机技术处理计算的能力。
辛顿在一次采访中感慨：“追溯到 1986 年，我们首次开发出反向传播算法，我们因其能学习到多层的特征探测而感到兴奋，我们认为已经解决了这个问题。但在解决实际问题中却没有出现大的突破，这非常令人失望，我们完全猜错了需要的计算资源和标记案例数量。”
这样的停滞伴随着辛顿接下来的 20 余年科研历程，神经网络始终不受学界主流认可。为了拿到教研经费，他曾在伦敦大学学院、多伦多大学等地工作，最后终于在 2004 年从加拿大高等研究院申请到了每年 50 万美元的经费支持。
直到 2006 年以前，辛顿即使已经在英国、加拿大是院士级别的人物，但他的发现只在学界里有名气，从未得到现实的广泛应用。但他始终坚信神经网络将引起人工智能革命。据称，为了给自己打气，辛顿还养成了一种自我激励的方法，每周发泄般大吼一次：“我发现大脑是怎样工作的啦！”
天然神经系统和人工神经网络的相似性。关于人工神经网络的理论在几十年前就已形成，但当时人们并没有找到实现它的方法
2006 年，深度学习革命终于在全球打响。这个新时代的序幕依然是由辛顿和学生拉开的。他们在两篇论文里论证道，深度神经网络具有自主学习的能力。比起人类，深度学习的自编码器对数据有更本质的刻画，从而有利于可视化和分类。
这一全新的概念经历了此后 6 年的储备，终于在 2012 年点燃全世界。2012 年，在华裔科学家李飞飞举办的 ImageNet 图像识别竞赛中，辛顿和学生伊利亚（Ilya Sutskever，前 OpenAI 首席科学家）和亚历克斯（Alex Krizhevsky）组成团队，设计了名为 “AlexNet” 的卷积深度网络程序，一举夺冠。
这次夺冠并非只是拿到冠军那么简单。辛顿和学生以全场都没有用过的方式，取得了颠覆性的胜利。
4 “快乐和悲伤交织”
后来的故事更为人所知。2012 年一举成名后，辛顿收到了来自百度、谷歌、微软以及 DeepMind 等巨头的千万美元年薪橄榄枝。他于是听从律师建议，在美国华达州的哈拉斯赌场，对着争相而来的科技巨头，举行了一场邮件竞拍。
最终，他在身价被提高到了 4400 万美元时，叫停了拍卖，选择加入谷歌。
杰弗里・辛顿在谷歌总部外
失败的百度从此决心向深度学习上储备人才，先后建立了深度学习研究院和自动驾驶研究院。主导百度参与辛顿竞拍的负责人、现地平线创始人余凯回忆：“尽管竞拍失败，但我还是很开心的。我想我的目的也达到了，因为李彦宏亲眼见证了国际巨头不惜花费巨资来投资深度学习研发，这让他下定决心自己把深度学习做起来。”
进入 21 世纪的第二个十年，大模型、AI 视觉、AIGC 等多个应用，终于迎来大爆发。辛顿等到了盼望已久深度神经网络引发的人工智能浪潮。
这是属于他引领的时代。
他却自述过往，认为他的人生与 AI 浪潮一样，徘徊在反反复复的起伏里。“我经常会告诉大家，我弄清大脑的工作机制了，可过段时间，我又失望地发现之前的结论是错误的。”
“但事情就应该是这样发展的。正如（英国）诗人威廉・布莱克的两句诗，‘将快乐和忧伤编织，披在我神圣的心上’。”
2023 年，离开谷歌的辛顿越来越活跃于媒体之中。他近年因为大模型的热潮早已荣誉加身，人们喊他教父，对他进行膜拜。连他的很多早期追随者，如今也成为了科技巨头。例如学生伊利亚，与奥特曼一起创立 OpenAI，是 AI 浪潮的引领者之一。
看上去，辛顿没有什么烦恼可言了。
《终结者 5》剧照
但他却表现得越来越忧心忡忡，担心 AI 有一天会掌控人类社会。2024 年，他在诺贝尔奖颁布的现场连线时说：“我感到愧疚和后悔。”
“后悔有两种。一种是因为你做了一些明知不该做的事情而感到内疚；另一种是你做了一些在同样情况下会再次做的事情，但最终结果可能并不好。我的遗憾是第二种。我担心这种做法的后果是，比我们更聪明的系统最终会掌控一切。”
-END-
值班主编 | 黄茗婷
排版 | 八斤
-
AI 教父拿下诺奖，却很后悔
诺贝尔物理学奖罕见一幕！“AI 教父” 意外获奖，物理圈傻眼
原创 李水青 程茜 智东西 2024 年 10 月 08 日 20:18 浙江
诺奖！颁给了俩 AI 圈大佬，91 岁和 77 岁。
作者 | 李水青 程茜
编辑 | 漠影
智东西 10 月 8 日消息，今日，瑞典皇家科学院宣布，将 2024 年诺贝尔物理学奖授予约翰・霍普菲尔德（John J. Hopfield）和杰弗里・辛顿（Geoffrey E. Hinton），以表彰他们推动利用人工神经网络进行机器学习的基础性发现和发明。
▲瑞典皇家科学院公告截图
其中，出生于 1933 年、现年 91 岁的 Hopfield 是美国著名的物理学家、生物学家和神经科学家。他发明了一种具有联想记忆功能的神经网络模型，可以存储和重建图像及其他类型的数据，对人工智能和神经网络发展具有奠基作用。
▲约翰・霍普菲尔德（John J. Hopfield）
出生于 1947 年、现年 77 岁的 Hinton 是图灵奖得主、“深度学习之父”，他在 Hopfield 研究基础上，发明了一种可以自主查找数据属性的方法，从而执行识别图片中特定元素等任务。他凭借玻尔兹曼机以及反向传播算法、分布式表示等研究被业内誉为 “AI 先驱”。
▲杰弗里・辛顿（Geoffrey E. Hinton）
Hinton 今日在诺贝尔物理学奖颁布时线上接受媒体采访，被问及现在的感受时说：“我大吃一惊，不知道会发生这种事。”
▲Hinton 在诺贝尔物理学奖颁布时线上接受媒体采访
“获奖者的工作已经产生了巨大的效益。在物理学领域，我们将人工神经网络应用于广泛的领域，例如开发具有特定属性的新材料等。” 诺贝尔物理学奖委员会主席 Ellen Moons 说。
01. John J. Hopfield：用物理学训练人工神经网络，42 年前论文为 AI 奠基
根据瑞典皇家科学院公告，Hopfield 的主要贡献如下：
“John J. Hopfield 发明了一种使用保存和重现模式方法的网络 ——霍普菲尔德网络（Hopfield Network）。
我们可以将节点想象成像素。霍普菲尔德网络利用物理学来描述材料由于原子自旋而产生的特性，这种特性使每个原子都成为一个微小的磁铁。整个网络的描述方式相当于物理学中自旋系统的能量，并通过寻找节点之间连接的值来进行训练，以便保存的图像具有较低的能量。
当霍普菲尔德网络被输入扭曲或不完整的图像时，它会有条不紊地处理节点并更新它们的值，从而降低网络的能量。
因此，网络逐步找到与输入的不完美图像最相似的保存图像。”
出生于 1933 年、现年 91 岁的 Hopfield 是美国著名的物理学家、生物学家和神经科学家，1958 年获得美国纽约州伊萨卡康奈尔大学博士学位，现任美国新泽西州普林斯顿大学教授。
他曾在贝尔实验室做过技术人员，1982 年发表了 “Neural networks and physical systems with emergent collective computational abilities”（《具有涌现集体计算能力的神经网络和物理系统》）论文，是他被引用次数最多的论文，1986 年参与创立了加州理工学院的计算与神经系统博士项目。
Hopfield 提出的霍普菲尔德网络是一种具有联想记忆功能的神经网络模型，在当时使得遭受质疑而陷入停滞的神经网络重新成为 AI 重要研究方向，为后续神经网络的蓬勃发展奠基。
02. Geoffrey E. Hinton：“深度学习之父”将深度学习推向主流
根据瑞典皇家科学院公告，Hinton 的主要贡献如下：
“Hinton 以霍普菲尔德网络为基础，发明了一个采用不同方法的新网络：玻尔兹曼机（the Boltzmann machine）。
它是一种基于统计物理学的网络，可以学习识别给定类型数据中的特征元素。
Hinton 使用了统计物理学的工具，通过输入机器运行时很可能出现的示例来训练机器。玻尔兹曼机可用于对图像进行分类，或创建训练模式类型的新示例。Hinton 在此基础上继续发展，帮助开启了机器学习的爆炸式发展。”
出生于 1947 年、现年 77 岁的 AI 先驱 Hinton 是一位英裔计算机科学家，1978 年在英国爱丁堡大学获得博士学位，现任加拿大多伦多大学教授。
2012 年，Hinton 联合其学生构建了一个神经网络，可以分析数千张照片，并自学识别花、狗和汽车等常见物体。Hinton 与学生研发的神经网络在当年 ImageNet 大规模视觉识别挑战赛中以巨大优势夺冠，从而将深度学习推向主流。
2018 年，Hinton 与 Yoshua Bengio（约书亚・本吉奥）和 Yann LeCun（杨立昆）一起获得了 2018 年图灵奖，自此，他们三人经常被合称为 “深度学习之父”。
▲三人并称 “深度学习之父”
Hinton 当下非常关注 AI 未来的巨大不确定性，并强调负责任监管 AI 的重要性。他在谷歌工作了十年，由于担心 AI 的风险而于去年 5 月离职，辞去谷歌副总裁和工程研究员职务。
03. 融合物理学背景为机器学习革命奠定基础
Hopfield 和 Hinton 从 1980 年代开始的工作，为 2010 年左右开始的机器学习革命奠定了基础。
1982 年，Hopfield 发明了联想记忆，这类似于人们在相似单词中搜索不常使用单词的过程。他构建的网络可以基于存储信息重新创建模式，当为网络提供的是不完整或略微扭曲的模式时，这一网络可以找到最相似的存储模式。
当时，Hopfield 利用了他的物理学背景来探索分子生物学的理论问题，在南加州帕萨迪纳加州理工学院，他找到了构建具有许多小组件协同工作系统的灵感。受益于了解磁性材料的物理学原理，他能够使用描述自旋相互影响时材料的物理学特性，来构建具有节点和连接的示例网络。
他构建的网络具有以不同强度连接在一起的节点，每个节点都可以存储一个单独的值，在第一项工作中该值可以是 0 或 1，就像黑白图片中的像素一样。这一方法很特殊，其网络可以同时保存多张图片并且进行区分。
同时，如下图所示，霍普菲尔德网络可用于重新创建包含噪声或已部分擦除的数据。
这之后，Hopfield 和其他人继续开发这一网络如何运作的相关细节，包括可以存储任何值的节点不仅仅是 0 或 1。
但存储图像是一回事，想要解释它所描绘的内容是另一回事。
Hinton 在美国匹兹堡卡内基梅隆大学工作时，就和同事一起利用统计物理学的思想对霍普菲尔德网络进行扩展，并构建新的东西。
1990 年代，许多研究人员对人工神经网络失去了兴趣，但 Hinton 仍没有放弃，并开启了这一研究领域的新一轮爆发式增长。2006 年，他和同事开发了一种预训练网络的方法，该方法将一系列玻尔兹曼机分层，一个在另一个上面。这种预训练为网络中的连接提供了一个更好的起点，从而优化了其训练以识别图片中的元素。
Hopfield 和 Hinton 开发的开创性方法和概念是有助于塑造人工神经网络领域。此外，Hinton 在这项工作中发挥了主导作用将方法扩展到深度和密集的 ANN。
当下机器学习的发展是基于大量数据以及计算能力的巨大提高而实现的。1982 年，Hopfield 发布关于联想记忆的文章，就为这一发展提供了支持。他使用了具有 30 个节点的网络，如果所有节点都相互连接，就有 435 个连接。与今天的大型语言模型进行比较，这些模型被构建为可以包含超过 1 万亿个参数（100 万万个）的网络。
许多研究人员现在正在研发机器学习的相关应用，但哪一个方法更可行还有待观察，同时围绕这项技术的开发和使用的道德问题也存在广泛的讨论。不过，由于物理学为机器学习的发展提供了工具，因此看到物理学作为一个研究领域如何从人工神经网络中受益是很有趣的。
同时，机器学习长期以来一直被用于诺贝尔物理学奖中熟悉的领域，包括使用机器学习来筛选和处理发现希格斯粒子所需的大量数据、减少测量碰撞黑洞引力波的噪声、寻找系外行星等。
04.结语：神经网络基础研究助 AI 爆发式发展
今年的两位诺贝尔物理学奖得主，利用物理学工具开发出的方法，为当今强大的机器学习奠定了基础。
他们从 1980 年代开始就对人工神经网络进行了重要的研究。AI 领域基础研究在当下节点上获得国际重量级的诺贝尔奖，体现了 AI 的巨大效益和对人类发展的深刻影响日益显著。
-
诺贝尔物理学奖罕见一幕！“AI 教父” 意外获奖，物理圈傻眼
AI 教父 Hinton 获诺奖后：谷歌 CEO 办庆功宴，奖金计划捐出，还 Diss 了一把阿尔特曼
原创 程 茜 智东西 2024 年 10 月 09 日 19:10 北京
Hinton：物理学是神经网络早期灵感缪斯，现阶段研究关系不大。
作者 | 程茜
编辑 | 李水青
智东西 10 月 9 日消息，昨天，诺贝尔物理学奖授予了推动人工神经网络发展的约翰・J・霍普菲尔德（John J. Hopfield）和杰弗里・E・辛顿（Geoffrey E. Hinton）。诺奖罕见地颁给了 AI 专家，作为图灵奖得主、“深度学习之父” 的辛顿本人也表示大吃一惊。
就在今天，辛顿前东家谷歌为其举办了庆功宴，**谷歌 CEO 桑达尔・皮查伊（Sundar Pichai）、谷歌首席科学家杰夫・迪恩（Jeff Denn）、OpenAI 前联合创始人伊利亚・苏茨克维（Ilya Sutskeve）**等 AI 圈大佬悉数到场。实属罕见，一个诺贝尔物理学奖的庆功宴竟然不见物理学大牛。
▲部分参与庆功宴人士合影（左图：左四为杰弗里・辛顿，右一为伊尔亚・苏茨克维；右图右二为桑达尔・皮查伊）（图源 X）
辛顿如何看待这次获奖？为什么诺贝尔物理学奖颁给了 AI 专家？这又将对未来 AI 发展有什么影响？
诺贝尔物理学奖公布不久，辛顿接受了《纽约时报》、瑞典电视台、每日新闻、瑞典电视频道 TV4、瑞典报纸等多家媒体以及多伦多大学新闻发布会的采访，针对上述问题进行了回应。
对于惊讶自己获得诺奖的原因，辛顿提到，神经网络发展的前期阶段很大程度上依赖于物理学的想法，他研发的玻尔兹曼机就是在早期阶段帮助 AI 研究克服了 “训练深度神经网络” 的障碍。但 “最近（AI）这项工作与物理学的关系较少”。
辛顿目前最常用的 AI 工具是GPT-4，但他不会完全信任它。伴随着 AI 的发展，他认为在未来 20 年的某个时候，AI 将比人类更聪明。同时辛顿也看好机器人技术的发展前景，“让 AI 能够熟练地操纵事物，目前我们在这方面比计算机或人工神经网络好得多”。
他还呼吁加强对 AI 安全以及由好奇心驱使的基础研究的支持。辛顿称，他已经 76 岁，不会再进行前沿研究，将花时间倡导人们从事安全工作。他还特别自豪：“我的一个学生解雇了 Sam Altman。” 他认为：“OpenAI CEO 萨姆・阿尔特曼（Sam Altman）现在更关心利润，而不是安全，我认为这很不幸。”
关于诺奖奖金的使用，辛顿说要将其全部捐给慈善机构，他将获得550 万瑞典克朗（折合约 375 万人民币）。
该奖项授予了霍普菲尔德于 20 世纪 80 年代初开发的一种名为霍普菲尔德网络的技术，以及随后几年由辛顿协助开发的一种名为玻尔兹曼机的相关技术。这也使辛顿成为历史上首个同时获得 “计算机界的诺贝尔奖” 图灵奖和诺贝尔物理学奖的科学家。
上述采访累计超过 40 分钟，智东西在不改变原意的情况下进行了整理编辑。
01. 今天 AI 模型与物理关系不大，玻尔兹曼机的作用像 “酶”
在得知辛顿博士获得诺贝尔物理学奖后不久，《纽约时报》通过电话联系到了他。
《纽约时报》：当您听到今天早上的新闻时，您的反应是什么？
辛顿：我非常震惊，我从来没有想到过这一点。
《纽约时报》：神经网络是计算机技术，这与物理学有何关系？
辛顿： 霍普菲尔德网络及其进一步发展的玻尔兹曼机是基于物理学的。霍普菲尔德网络使用能量函数，玻尔兹曼机使用统计物理学的思想。因此，神经网络发展的那个阶段确实在很大程度上依赖于物理学的想法。
但用于构建今天使用的 AI 模型的实际上是一种不同的技术，称为反向传播（Back Propagation），这与物理学关系不大。
《纽约时报》：玻尔兹曼机和反向传播之间有什么关系？
辛顿： 现在没有太多联系，它们是我们如何让神经网络运行的两种替代理论。早期，我使用玻尔兹曼机 “预训练” 反向传播网络来设法将它们结合起来。但现在人们不这样做了。
《纽约时报》：预训练是什么意思？您能用读者能够理解的语言进行解释吗？
辛顿： 我想起了物理学家理查德・费曼获得诺贝尔奖时所说的话。一位记者问他：“费曼教授，您能用几分钟解释一下您为何获得诺贝尔奖吗？” 费曼回答道：“听着，伙计，如果我能在几分钟内解释清楚，那就不值得获得诺贝尔奖了。”
《纽约时报》：可以肯定地说，玻尔兹曼机器对于 AI 研究来说是一条死胡同，研究将往什么方向发展？
辛顿： 我认为这个想法就像一种酶，酶可以帮助人跨越障碍 —— 即使它不是最终解决方案的一部分。玻尔兹曼机就像一种酶，它让我们克服了 “如何训练深度神经网络？” 的障碍。这使得训练他们变得更容易。一旦我们学会了如何做到这一点，我们就不再需要玻尔兹曼机了。
《纽约时报》：您是否直接与约翰・霍普菲尔德就这些想法进行过合作？
辛顿： 不，我读过他的论文。但我的主要合作者之一特里・塞诺夫斯基（Terry Sejnowski）与霍普菲尔德一起工作并获得了博士学位。
《纽约时报》：您获得这个物理学奖是不是很奇怪？
辛顿： 如果计算机科学有诺贝尔奖，我们的工作显然会更合适，但没有。
《纽约时报》：这是一个很好的表达方式。
辛顿： 这也是一种暗示。
《纽约时报》： 是的，也许我们需要计算机科学领域的诺贝尔奖。无论如何，你因帮助创造了一项你现在担心会给人类带来严重危险的技术而获得了诺贝尔奖。你对此有何感想？
辛顿： 获得诺贝尔奖可能意味着人们会更认真地对待我。
《纽约时报》：当您警告未来的危险时，会更加认真地对待您吗？
辛顿： 是的。
02. 经常使用 GPT-4
接到获奖电话取消核磁共振扫描
诺贝尔物理学奖宣布时，辛顿接受了几家媒体的线上采访。
主持人： 早上好，辛顿教授。请接受我们对您获得诺贝尔物理学奖的最热烈祝贺。你现在感觉怎么样？
辛顿： 非常感谢。我惊呆了，我没想到会发生这种事。
▲Hinton 在诺贝尔物理学奖颁布时线上接受媒体采访
瑞典电视台：您还记得您意识到自己取得突破时的情景吗？这些发现的缘由或灵感是什么？
辛顿： 我记得与我的两位导师有过几次合作，因此我非常感谢大卫・格拉梅尔哈特（David Rommelhart）和特里・萨诺夫斯基（Terry Sanofsky）。在格拉梅尔哈特的帮助下，我们重新发现了反向传播算法，那是在 1982 年初。在萨诺夫斯基的帮助下，他和我发现了一种用于具有隐藏单元的霍普菲尔德网络的学习算法。我记得很清楚，我们参加了在罗切斯特举行的一次会议，霍普菲尔德发表了演讲，我第一次了解到神经网络的霍普菲尔德能量函数。
之后，萨诺夫斯基和我开始研究如何将神经网络推广到具有隐藏单元的霍普菲尔德网络。1982 年初，我们成功提出了一种适用于具有隐藏单元的霍普菲尔德网络的学习算法。所以对于我而言，最激动人心的时刻就是与格拉梅尔哈特一起研究反向传播算法，与萨诺夫斯基一起研究玻尔兹曼机。
波兰电视台：神经网络和机器学习未来能做什么？您如何预测这项技术将对我们的文明产生多大的影响？
辛顿：我认为它将产生巨大的影响。它将与工业革命相媲美，但不会在体力上超越人类，而是在智力上超越人类。我们还没有体验过拥有比我们更聪明的东西会是什么样子。
在许多方面，AI 都大有裨益。在医疗保健等领域，AI 将为我们提供更好的医疗保健服务。在几乎所有行业，AI 都将提高工作效率。人们将能够在更短的时间内利用 AI 助手完成相同的工作量。这意味着生产力将大幅提高，但我们也必须担心一些可能的不良后果，尤其是这些事情失控的威胁。
《每日新闻》：去年你在接受《纽约时报》采访时说，你对部分工作感到后悔，因为 AI 存在风险。你现在对此有何感想？
辛顿： 后悔有两种意思。后悔是因为你做了一些明知不该做的事，所以感到内疚。还有一种后悔是因为你做了一些事，如果在同样的情形下，你会再做，但结果可能并不好。我有第二种后悔。如果在同样的情形下，我会再做同样的事。但我担心，这种情况的总体后果可能是比我们更聪明的系统最终会掌控一切。
瑞典电视频道 TV4：我想知道玻尔兹曼机会产生什么类型的 AI？你研究什么样的人工智能？
辛顿： 我参与了两种不同的学习算法，一种是玻尔兹曼机，这是一种带有隐藏单元的霍普菲尔德网络的学习算法。我们最终找到了一个实用的版本，但这并不是目前神经网络取得主要进展的原因。另一种是反向传播算法，这是一种让神经网络学习任何东西的方法。反向传播算法带来了 AI 应用的激增，以及识别图像、理解语音和处理自然语言的能力。这不是玻尔兹曼机做的，而是反向传播算法。
瑞典报纸：你有最喜欢的 AI 工具吗？
辛顿： 我实际上经常使用GPT-4。每当我想知道任何事情的答案时，我都会去问 GPT-4。我并不完全信任它，因为它会产生幻觉，几乎所有事情上它都不是很好的专家，但这非常有用。
半岛电视台英语频道：你接到诺奖电话时在哪里？它对你有什么影响？
辛顿： 我在加州一家廉价酒店，没有互联网连接，电话信号也不太好。我本来今天要做核磁共振扫描，但我想我得取消了。
03. 支持伊利亚离开 OpenAI 阿尔特曼更关心利润
今天，多伦多大学还在线上举办了表彰和庆祝 2024 年诺贝尔物理学奖获得者杰弗里・辛顿的活动。
辛顿在多伦多大学度过了大约三十年的出色学术生涯，其多学科研究项目不仅与 AI 和机器学习相关，还与物理学、认知心理学、神经生物学、数学优化和信息论相关。
表彰活动上，辛顿首先提及了一起进行研究的两位导师和许多学生，并自豪地称：“我的一个学生解雇了 Sam Altman”。
问题：现在加拿大的研究格局与刚开始时有何不同？今天在加拿大取得更多研究突破的最大瓶颈是什么？
辛顿：一个很大的区别是，人们现在认识到神经网络实际上是有效的，但大部分情况是相似的，加拿大有名为加拿大高级研究所的实力雄厚的组织， 这对进行研究的人们有很大帮助。我认为加拿大的主要问题是做研究没有美国那么多资金，但它使用资金的方式相当明智，特别是此类研究的主要资助委员会，他们将资金用于好奇心驱动的研究以及所有先进的神经网络研究，不是为了在应用问题上投入金钱，而是为了让科学家跟随他们的好奇心去尝试和理解事物，加拿大在这方面非常擅长。
问题：你此前警告了不受控制的人工智能的危险，并且我们对它现在的工作原理了解不够，我们如何避免灾难？
辛顿：我们目前不知道如何避免这一切，这就是为什么我们迫切需要更多的研究，所以我提倡最优秀的年轻研究人员应该致力于人工智能安全，政府应该迫使大公司提供相应的计算设施。
问题：你能详细说明一下你对人工智能的担忧吗？你是否相信它可能会变得比人类更聪明？你为什么相信这会发生以及多快会发生？
辛顿：我认识的大多数顶尖研究人员都相信 AI 将变得比人类更聪明。对于这一预期的时间维度有所不同，很多人相信这将在未来 20 年的某个时候发生，有些人相信这会发生得更快，有些人认为这需要更长的时间，但相当多的人相信，在未来 20 年的某个时候，AI 将比我们更聪明，我们需要认真思考会发生什么。
问题：当你刚得知自己获奖时，你第一个打给了谁？她的反应是什么？
辛顿：我的姐姐，她在澳大利亚。她说：“我的天。”
问题：今天早上得知诺贝尔奖得主的消息时，你感到大吃一惊，这一天你过得怎么样？
辛顿：我睡得很少，当时是加利福尼亚州的凌晨 1 点，电话接通时，我已经睡了大约一个小时，挂了电话后，我可能又睡了大约一个小时，所以我现在睡眠不足。并且有很多人试图联系我，还收到了很多年前老朋友的留言。
问题：当你得知这个奖项时你用了 “大吃一惊” 这个词，为什么你这么惊讶？
辛顿：我完全不知道我被提名了，我不是物理学家。所以获得物理学奖对我来说非常令人惊讶， 我很高兴诺贝尔委员会认识到人工神经网络领域取得的巨大进步。霍普菲尔德的工作与物理学密切相关，我和特里・辛诺夫斯基在玻尔兹曼机上所做的一些早期工作受到了统计物理学的启发，但最近这项工作与物理学的关系较少， 所以我很惊讶。
问题：你能否详细说明之前在电话会议上关于萨姆・阿尔特曼（Sam Altman）的评论？
辛顿：OpenAI 建立之初非常强调安全性，主要目标是开发通用人工智能并确保它是安全的，随着时间的推移，事实证明，阿尔特曼更关心利润，而不是安全，我认为这很不幸。
问题：你如何看待人工智能的不确定未来以及如何更好地了解其潜在机遇和风险？政府会考虑介入吗？为了更严格地监管人工智能，政府如何更好地支持人工智能研究？
辛顿：我认为政府可以鼓励大公司在安全研究上花费更多的资源，目前几乎所有的资源都用于使模型更好，并且正在进行一场激烈的竞争。一方面，模型变得越来越好，但我们需要在 AI 安全方面做出类似的努力，这部分努力需要超过 1%，可能需要三分之一。
问题：关于诺贝尔奖金有哪些计划？
辛顿：我没有具体计划，打算把它捐给慈善机构，我会捐一些给神经多样性年轻人（孤独症或阿斯伯格）提供工作，我会再捐给其他一些慈善机构。
问题：尽管很难预测会发生什么，但如果你必须在一些粗略的关注领域进行冒险，那会是什么？
辛顿：AI 有很多不同的风险 ，他们都有不同的解决方案，直接的风险是诸如虚假视频破坏选举之类的事情，我们已经看到了政客要么指责其他人使用虚假视频，要么自己使用虚假视频和虚假图像，这是一个迫在眉睫的危险；网络攻击等事件也会带来非常直接的危险，例如去年钓鱼攻击的数量增加了 1200%，因为大型语言模型使得钓鱼攻击变得非常容易，而且你无法再通过拼写错误和语法奇怪的事实来识别它们。
问题：人工智能领域令人兴奋的下一个前沿技术是什么？
辛顿：我已经 76 岁了，我不会做更多的前沿研究，我会花时间倡导人们从事安全工作。我认为机器人技术中有非常令人兴奋的前景， 让 AI 能够熟练地操纵事物，目前我们在这方面比计算机或人工神经网络好得多。我也认为大型语言模型在推理方面会变得更好， OpenAI 和谷歌的最新模型在推理方面变得更好。
问题：我们很好奇在今天的新闻发布会上，还有什么我们没有提到您想提及的问题？
辛顿：我们简单提到了一件事，那就是好奇心驱动的基础研究的作用，所以人工神经网络的基础工作都是由大学研究人员完成的， 研究人员只是追随他们的好奇心并资助这种研究非常重要，它不像其他类型的研究那么昂贵， 但是它为后来非常昂贵并且涉及大量 技术的事情奠定了基础。
04. 结语：机器学习、物理学研究相辅相成
尽管人工神经网络是以生物神经网络为模型的，但今年的两位诺贝尔物理学奖获得者的工作都借鉴了统计物理学，利用物理学训练人工神经网络，为当今强大的机器学习奠定了基础。
此次诺贝尔物理学奖的颁布表明物理学理念正在推动深度学习革命的兴起。如今，深度学习开始回报物理学，它能够准确、快速地模拟从分子和材料到整个地球气候的各种系统。通过将诺贝尔物理学奖授予霍普菲尔德和辛顿，也表明了诺贝尔奖委员会对人类利用这些进步来促进人类福祉和建立可持续发展的世界的期望。
与此同时，正如辛顿所言，此次获得诺贝尔物理学奖也在一定程度上，能使整个 AI 行业未来更重视他对 AI 风险的观点。
来源：纽约时报、诺贝尔奖委员会、多伦多大学
参考链接：
https://www.nobelprize.org/uploads/2024/09/advanced-physicsprize2024.pdf
https://www.nytimes.com/2024/10/08/technology/nobel-prize-geoffrey-hinton-ai.html
-
AI 教父 Hinton 获诺奖后：谷歌 CEO 办庆功宴，奖金计划捐出，还 Diss 了一把阿尔特曼
解密诺贝尔物理学奖为啥颁给 AI？Hinton 和 Ilya 12 年前对话，竟引发物理诺奖 AI 风暴！
新智元 新智元 2024 年 10 月 09 日 13:16 北京 标题已修改
新智元报道
编辑：编辑部 HYZ
**【新智元导读】**诺贝尔物理学奖公布第二天，争议依然未平息。诺奖官号都被愤怒的网友冲了：AI 不是物理学！Hopfield 网络和反向传播算法究竟与物理学有何关系？这要从 Hinton 和 Ilya 12 年前的那件事说起。
昨天的诺贝尔物理学奖一公布，瞬间炸翻了物理圈和 AI 圈。
Hinton 的第一反应更是有趣：这不会是个诈骗电话吧？
如此出乎意料的结果，让各路针对诺奖物理学奖的严肃预测，都仿佛成了笑话。
而诺贝尔奖的官方账号，也被网友们给冲爆了。
他们纷纷高呼：这不是物理学！
「数据科学或神经网络是『用于』物理学，但绝对不『是』物理学。」
相比之下，AI 圈则是一片其乐融融的景象。大佬们都开心地给 Hinton 送去了祝福。
AI 教母李飞飞：AI 的深远影响，如今才刚刚开始
MIT 博士生 Ziming Liu 直言：「Physics (Science) for AI」是一个被严重低估的领域。规模化可以实现一对多的效果，但唯有科学才能带来从无到有的突破。
Jim Fan 则做了一个非常有趣的「AI - 物理学对照表」：
言归正传，诺贝尔物理学奖，为何要颁给 AI 学者？
这就要从深度学习爆发的那一年讲起。
Geoffrey Hinton：2012 年，深度学习的惊人革命
早在 1986 年，Geoffrey Hinton 等人在 Nature 上发表的论文，就让训练多层神经网络的「反向传播算法」广为人知。
当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。
可以说，神经网络在经历第一波寒冬之后，自此开始重新走向 AI 舞台。
1989 年，LeCun 率先使用了反向传播和卷积神经网络。他也同意 Hinton 的看法。
我毫不怀疑，最终我们在上世纪 80-90 年代开发的技术将被采用。
早期的图灵三巨头
不过，反向传播算法引发的热潮，随后又在 1995 年被统计机器学习盖过去了。
统计机器学习的风头兴盛了很多年，即使 2006 年 Hinton 在 Science 上首次提出「深度学习」，业内也响应寥寥。
直到 2012 年 9 月，一篇题为「用深度卷积神经网络进行 ImageNet 图像分类」的论文，让此前沉寂多年的 AI 领域热度骤起。
文中提出的 AlexNet 深度卷积神经网络，在当年的 ImageNet 比赛上以碾压之势夺冠，一举将 top-5 错误率降低到了 15.3%，比身后的第二名（26.2%）足足高出 10 多个百分点。
ImageNet 数据集，正是由斯坦福李飞飞团队在 2007 年创建。
AlexNet 摧枯拉朽般的大胜，让研究人员惊叹于大型卷积深度神经网络架构的神奇威力，这篇论文也成为深度学习和人工智能自「AI 寒冬」后重新成为热门领域的重要里程碑。
后来人们所讲的「深度学习革命」，也借此文以发端，直到十二年后的今天。
事后李飞飞这样回顾：自 2012 年以来，深度学习的发展堪称「一场惊人的革命，令人做梦都没想到」。
自此，人们开始相信：大数据、算力、深度模型，是走向通用人工智能的关键三要素。
而深度模型也从最早的卷积神经网络，迭代为递归神经网络、Transformer、扩散模型，直至今天的 GPT。
从生理学、哲学到 AI：大脑究竟如何思考
在年轻时，为了弄清楚人类的大脑如何工作，Hinton 首先来到剑桥学习生理学，而后又转向哲学，但最终也没有得到想要的答案。
于是，Hinton 去了爱丁堡，开始研究 AI，通过模拟事物的运行，来测试理论。
「在我看来，必须有一种大脑学习的方式，显然不是通过将各种事物编程到大脑中，然后使用逻辑推理。我们必须弄清楚大脑如何学会修改神经网络中的连接，以便它可以做复杂的事情。」
「我总是受到关于大脑工作原理的启发：有一堆神经元，它们执行相对简单的操作，它们是非线性的，它们收集输入，进行加权，然后根据加权输入给出输出。问题是，如何改变这些权重以使整个事情做得很好？」
某个周日，Hinton 坐在办公室，突然有人敲门。AI 命运的齿轮从此转动。
敲门的正是 Ilya。
当年青涩的 Ilya
Hinton 给了 Ilya 一篇关于反向传播的论文，约定两人一周后讨论。
Ilya：I didn’t understand it.
Hinton：这不就是链式法则吗？
Ilya：不是，我不明白你为啥不用个更好的优化器来处理梯度？
——Hinton 的眼睛亮了一下，这是他们花了好几年时间在思考的问题。
Ilya 很早就有一种直觉：只要把神经网络模型做大一点，就会得到更好的效果。Hinton 认为这是一种逃避，必须有新的想法或者算法才行。
但事实证明，Ilya 是对的。
新的想法确实重要，比如像 Transformer 这样的新架构。但实际上，当今 AI 的发展主要源于数据的规模和计算的规模。
2011 年，Hinton 带领 Ilya 和另一名研究生 James Martins，发表了一篇字符级预测的论文。他们使用维基百科训练模型，尝试预测下一个 HTML 字符。
模型首次采用了嵌入（embedding）和反向传播，将每个符号转换为嵌入，然后让嵌入相互作用以预测下一个符号的嵌入，并通过反向传播来学习数据的三元组。
当时的人们不相信模型能够理解任何东西，但实验结果令人震惊，模型仿佛已经学会了思考 —— 所有信息都被压缩到了模型权重中。
AI 如何「蹭」上物理学
讲到这里，你可能有一个疑问：这些跟物理学有什么关系呢？
诺奖委员会的解释是，人工神经网络是用物理学工具训练的。
Geoffrey Hinton 曾以 Hopfield 网络为基础，创建了一个使用不同方法的新网络：玻尔兹曼机。在这个过程中，Hinton 使用的是统计物理学的工具，来学习和识别数据中的模式。
就这样，AI 跟物理学联系上了。
如果讲到此次另一位获奖者 John Hopfield，倒是和物理学的关系更紧密一些。
一言以蔽之，Hopfield 网络是按物理学上能量函数最小化来构建的，可以看作是物理学中「自旋玻璃模型」的扩展。
Hopfield 网络利用了材料由于其原子自旋而具有特性的物理学 —— 这种特性使每个原子成为一个微小的磁铁。整个网络的描述方式等同于物理学中发现的自旋系统中的能量，并通过找到节点之间连接的值来训练，使保存的图像具有低能量。
另外，Hopfield Network 和玻尔兹曼机都是基于能量的模型。
统计力学原理，便是这两者的核心。它们都使用来自统计力学的能量函数，来建模和解决与模式识别和数据分类相关的问题。
在前者当中，能量函数被用来寻找与所存储的模式相对应的最稳定状态。后者中，能量函数通过调整节点之间连接的权重来帮助学习数据的分布。
至此，诺奖委员会就自圆其说了。
John Hopfield：一个想法，波及三大学科
20 世纪 80 年代初，John Hopfield 在加州理工学院创建了一个简单的计算机模型 ——Hopfield Network。
其行为方式不太像当时的计算机，而更像人脑。
这是因为，Hopfield Network 模仿了人脑储存信息的结构。它由相互连接的节点组成，正如人脑中的神经元一样。
节点中的连接强度具有可塑性，可强可弱，而强连接进而形成了我们所说的「记忆」。
Hopfield 学生，现 Caltech 计算机科学、计算与神经系统以及生物工程教授 Erik Winfree 解释道：
Hopfield Network 是物理学中「自旋玻璃模型」（the spin glass model）的扩展。自旋玻璃有两种磁化状态，可以称之为它的「记忆」。
Hopfield 扩展了这一模型，让其有了更复杂的连接模式。
简言之，他使用一个简单的规则，让每对单元（每个节点）之间有不同的连接强度，而不再局限于两种状态。
他的工作证明了，这种网络可以储存多种复杂的模式（记忆），而且比之前的方法更接近大脑运作方式。
Hopfield 以一种跨学科的视角阐述这个模型，解释了人工神经网络与物理学之间的联系。
复旦大学计算机科学教授张军平认为，Hopfield Network 与物理学领域的关联是，它的设计思路模拟了电路结构。
「假设网络每个单元均由运算放大器和电容电阻组成，而每个单元就代表着一个神经元」。
在普林斯顿大学新闻发布会上，Hopfield 表达了同样的观点。他认为，长远来看，新科学领域通常产生于，大量科学知识的交叉点上。
你必须愿意在这些「缝隙」中工作，找出你的知识局限性，以及让这些学科更丰富、更深入、更好被理解而采取的行动。
来自 MIT-IBM 实验室物理学家 Dmitry Krotov 分享了，Hopfield Network 一个想法至少对三大学科产生了巨大的影响。
它们分别是，统计物理学、计算机科学和人工智能、神经科学。
2023 年，他曾发表了一篇 Nature 论文，对 Hopfield Network 在统计物理、神经科学和机器学习等多个学科中，进行了分析。
论文地址：https://www.nature.com/articles/s42254-023-00595-y
Krotov 本人也与 Hopfield 合作过多篇研究，因此他对 Hopfield Network 工作的了解再熟悉不过了。
###统计物理学
在统计物理学中，Hopfield Model 成为最常被研究的哈密顿量（Hamiltonian）之一。哈密顿量在物理学中，描述了系统的总能量，是理解系统行为的关键。
这一模型已经催生了数以万计的论文、几本书籍。它为数百名物理学家进入神经科学和人工智能，提供了切入点。
就连诺贝尔奖官方给出了解释，机器学习模型，是基于物理方程式。
###计算机科学和 AI
在计算机科学中，Hopfield Network 终结了 AI 寒冬（1974-1981），并开启了人工神经网络的复兴。
Hopfield 在 1982 年发表的论文，标志着现代神经网络的开始。
论文地址：https://www.pnas.org/doi/10.1073/pnas.79.8.2554
就连如今的顶会 NeurIPS，起源可以追溯到 1984-1986 年在加州理工学院举行的被称为「Hopfests」的会议。
这个名字直接致敬了 Hopfield，彰显了他的早期工作在神经网络研究中的核心地位。
John Moody 在 1991 年的 NeurIPS 论文集中记录了这段历史。
另外，Hopfield Network 成为限制玻尔兹曼机（Restricted Boltzmann Machine）发展的主要灵感来源。RBM 在早期深度学习中，发挥着重要的作用。
还有基于能量的模型（Energy Based Model），代表着人工智能领域中一个重要的范式。
它也是从 Hopfield 基于能量和记忆的模型发展而来。
###神经科学
在神经科学领域，Hopfield Network 成为后来许多计算记忆模型的基础。
它将记忆回忆概念化，即能量景观中滚下山坡的想法，已成为神经科学中的经典隐喻。
这次「诺奖风波」后，许多人也对如今的学科分类有了全新的思考。
不可否认的是，AI 已经融入了全学科、全领域。
而这次诺贝尔物理学奖颁给 AI，也是 AI 大爆发对于人类社会颠覆影响的一个真实写照。
参考资料：
https://x.com/Caltech/status/1843764971022495942
https://x.com/DimaKrotov/status/1843682498825564463
https://cacm.acm.org/opinion/between-the-booms-ai-in-winter/
https://x.com/DrJimFan/status/1843681423443800315
-
解密诺贝尔物理学奖为啥颁给 AI？Hinton 和 Ilya 12 年前对话，竟引发物理诺奖 AI 风暴！
扫一扫
533
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
