点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
添加微信号：CVer111，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
转载自：新智元 ｜编辑：编辑部 HXZ
【导读】爆冷！2024年的诺贝尔物理学奖，花落John Hopfield和Geoffrey Hinton，理由是运用物理学原理训练人工神经网络。委员会宣布获奖名单时，所有人倒吸一口冷气。现在，网友已经炸锅了。
就在刚刚，2024年诺贝尔物理学奖揭晓。
奖项颁发给John Hopfield和Geoffrey Hinton！
两人获得诺贝尔物理学奖的理由是，他们使用物理学工具训练了人工神经网络，这些方法是当今强大机器学习的基础。他们的工作，让如今的深度神经网络和深度学习得以诞生。
John Hopfield创造了一种可以存储和重构信息的结构。Geoffrey Hinton发明了一种可以自主发现数据特征的方法，这种方法对现在使用的大型人工神经网络变得至关重要。
是的，一位计算机科学家和一名分子生物学家，受人脑神经元启发创造出的「人工神经网络」，获得了今年的诺贝尔物理学奖。
而Hinton，也成为史上首位图灵奖+诺贝尔物理学奖的获奖者。
Geoffrey E. Hinton
接到诺奖委员会的电话后，Hinton的第一反应是：「我惊呆了！没有想过这件事会发生在我身上。」
媒体提问环节中有人问到Hinton会使用哪些AI工具，他直接表示：「我经常用GPT-4，虽然它给出的答案不总是对的，但是很有用。」
Geoffrey Hinton发明了一种可以自动发现数据特征的方法，从而执行诸如识别图片中特定元素等任务。
Geoffrey Hinton以Hopfield网络为基础，创建了一个使用不同方法的新网络：玻尔兹曼机。后者可以学习识别给定类型数据中的特征元素。
Hinton使用了统计物理学的工具，通过输入在机器运行时很可能出现的例子来训练机器。
玻尔兹曼机可用于分类图像或创建与其训练模式类型相似的新例子。在此基础上，Hinton继续研究，帮助启动了当前机器学习的飞速发展。
出生于学霸世家
2018年，Geoffrey Hinton与Yoshua Bengio和Yann LeCun一起获得了图灵奖，以表彰他们在深度学习领域做出的奠基性贡献。
2012年，Hinton和他的学生发表了一篇题为「Deep Neural Networks for Acoustic Modelling in Speech Recognition」的开创性论文。
论文首次证明了神经网络是当时最先进的技术——在识别语音模式方面优于隐马尔可夫模型（HMM）和高斯混杂模型（GMM）等经典模型。而这一年，正是人工智能的突破之年。
论文地址：https://research.google/pubs/pub38131/
同在2012年，Hinton和Alex、Ilya在ImageNet竞赛中获胜，他们基于神经网络建立的计算机视觉系统能够识别1000个物体。
论文地址：https://dl.acm.org/doi/10.1145/3065386
2013年，Hinton的公司DNNresearch被谷歌收购，而他本人也被Dean招募进谷歌兼职。
然而，就在10年之后的2023年，作为深度学习泰斗、神经网络之父Geoffrey Hinton突然宣布离职。
我对我的毕生工作，感到十分后悔。
拓展阅读：「 AI教父Hinton家谱曝出，全员科学巨匠！曾坦言：人生追求只是博士毕业，工作是唯一的放松」
John J. Hopfield
John Hopfield发明了一个使用保存和重建模式方法的网络，其中我们可以将节点想象成像素。
Hopfield网络利用了材料由于其原子自旋而具有特性的物理学——这种特性使每个原子成为一个微小的磁铁。整个网络的描述方式等同于物理学中发现的自旋系统中的能量，并通过找到节点之间连接的值来训练，使保存的图像具有低能量。
当Hopfield网络被输入一个失真或不完整的图像时，它会有条不紊地处理节点并更新它们的值，使网络的能量下降。
因此，网络逐步寻找最接近输入的不完美图像的已保存图像。
跨学科心路历程
Hopfiled生于1933年，曾任普林斯顿大学分子生物学教授。
有趣的是，他的父亲John Joseph Hopfiled是波兰著名的物理学家，他年轻时也一直在从事物理学方面的研究，后来参与神经网络相关项目后才转向生物学方向。
Hopfiled本科毕业于美国斯沃斯莫尔学院，1958年获得康奈尔大学物理学博士学位，导师是从事固体物理学研究的Albert Overhauser。
毕业后，Hopfield曾在贝尔实验室担任了两年的技术人员，之后在巴黎高等师范学院、加州大学伯克利分校、玻尔研究所、加州理工学院、普林斯顿大学、剑桥卡文迪许实验室等顶尖机构都曾有过研究或教职经历。
至于为何从固态物理转向生物学，Hopfiled在2013年Annual Reviews的一篇文章中，回忆了自己当年的奇妙经历，并详细阐述了对当下生物学和物理学如何融合发展的思考。
原文地址：https://www.annualreviews.org/content/journals/10.1146/annurev-conmatphys-031113-133924
根据Hopfiled的回忆，他是一个有点「三分钟热度」的人，喜欢广泛接触各种研究领域，而从固态物理进入神经系统层面的生物信息处理，完全是一次偶然经历。
1977年冬天，他正在在哥本哈根的玻尔研究所担任客座教授，安排了许多拓宽自己眼界的研讨会，但没有给发现新的研究课题。
而回到普林斯顿后不久，他就被「神经科学研究计划」（NRP）的负责人找上了门，作为一名物理学家，闯入了一个全是心理学家和生物学家的研究小组。
Hopfiled形容，自己当时是被迷住了——「对我来说，思想如何从大脑中产生是我们人类提出的最深刻的问题，而这个拥有多元化人才和极大热情的NRP小组正在追求这一目标」。
1986年，Hopfiled在加州理工联合创办了计算和神经系统博士项目；等到了1997年，Hopfiled已经「不务正业」太久，完全偏离了传统物理学领域，甚至无法在任何物理系谋取职位。加入普林斯顿的分子生物系时，没有人认为他是物理学家。
对于自己的「不务正业」，Hopfiled并不觉得是个问题，毕竟自从他迈入学术界的60年代开始，物理学逐渐开始举步维艰、挣扎求存。
年轻时广泛接触生物学的Hopfield就坚持认为学者应该有广阔的视野和思考，大半生从事跨学科研究后，Hopfild依旧支持生物和物理的「联姻」。
在这篇回忆文章的最后，Hopfiled写道：
「物理学多次不得不做出选择，要么努力保留一个新的组成部分，就像十几岁的孩子一样，要么将其作为一门独立的学科送入荒野。我很高兴许多（也许是大多数）物理学家现在普遍将复杂系统物理学，特别是生物物理学视为该家族的成员。物理学是一种关于世界的观点。」
运用物理学原理发现信息中的模式
对于物理学奖为何要颁发给John Hopfield和Geoffrey Hinton，委员会给出了如下的详细解释。
许多人都见证过计算机如何能够在语言之间翻译、解释图像，甚至进行合理的对话。也许不太为人所知的是，这种技术长期以来对研究很重要，包括对大量数据的分类和分析。
机器学习在过去15～20年里飞速发展，并利用了一种称为「人工神经网络」的结构。
如今，当我们谈论人工智能时，通常指的就是这种技术。尽管计算机无法思考，但机器现在可以模拟记忆和学习等功能。
正是今年的物理学奖获得者，使其成为可能。他们使用物理学的基本概念和方法，开发了利用网络结构处理信息的技术。
机器学习与传统软件不同。在机器学习中，计算机通过示例学习，使其能够解决过于模糊和复杂而无法通过逐步指令管理的问题，例如解释图片并识别其中的物体。
模拟大脑
人工神经网络使用整个网络结构处理信息。这种灵感最初来自于理解大脑如何工作的愿望。
在20世纪40年代，研究人员开始探索大脑神经元和突触网络的底层数学原理。
另一个突破性的拼图来自心理学，归功于神经科学家Donald Hebb的假说，该假说认为学习发生是因为当神经元一起工作时，它们之间的连接会得到加强。
后来，这些想法被进一步发展，通过构建人工神经网络作为计算机模拟来模拟大脑网络的功能。
在这些模拟中，大脑的神经元被赋予不同值的节点所模拟，而突触则由节点之间可以变强或变弱的连接来表示。Donald Hebb的假说仍然被用作通过训练更新人工网络的基本规则之一。
在20世纪60年代末，一些令人沮丧的理论结果导致许多研究人员怀疑，这些神经网络永远无法实现应用。
然而，在20世纪80年代，人们对人工神经网络的兴趣重新被唤醒，当时几个重要的想法产生了重大影响，其中包括今年诺贝尔物理学奖获奖者的工作。
联想记忆
在1982年，John Hopfield发现了联想记忆。
当Hopfield网络接收到一个不完整或稍微扭曲的模式时，一种重建方法可以找到最相似的存储模式。
此前，Hopfield曾利用自己的物理学背景，探索分子生物学中的理论问题。
当他受邀参加一个神经科学会议时，他被大脑结构研究的知识所吸引，开始思考简单神经网络的动力学。当神经元一起工作时，它们可以产生新的强大特征，这些特征对于只看网络单独组件的人来说是不明显的。
随后，利用描述自旋相互影响时材料如何演变的物理学原理，他构建了一个具有节点和连接的模型网络。
Hopfield构建的网络（Hopfield network）有通过不同强度的连接相互连接的节点。每个节点可以存储一个单独的值——在Hopfield的最初工作中，这可以是0或1，就像黑白图片中的像素。
Hopfield用一个等同于物理学中自旋系统（spin system）能量的属性来描述网络的整体状态。
随后，Hopfield和其他人继续发展Hopfield网络工作原理的细节，包括可以存储任何值的节点，而不仅仅是零或一。
如果把节点想象成图片中的像素，它们可以有不同的颜色，而不仅仅是黑色或白色。改进的方法可以保存更多图片，并在它们非常相似时区分它们。
只要信息是由许多数据点构建的，就同样可以识别或重构任何信息。
用十九世纪物理学进行分类
当Hopfield发表关于联想记忆的文章时，Geoffrey Hinton正在美国匹兹堡的CMU工作。
他曾经思考：机器是否能以类似人类的方式学习处理模式，为分类和解释信息找到自己的类别。
Hinton与同事Terrence Sejnowski一起，从Hopfield网络出发，利用统计物理学的思想，构建了新的东西。
统计物理学可以分析单个组件可以共同存在的状态，并计算它们发生的概率。一些状态比其他状态更有可能发生；这取决于可用能量的数量，
这在十九世纪物理学家Ludwig Boltzmann的方程中有所描述。Hinton的网络利用了这个方程，在1985年发表了引人注目的「玻尔兹曼机」。
玻尔兹曼机通常使用两种不同类型的节点。信息被输入到可见节点中。其他节点形成一个隐藏层。隐藏节点的值和连接也对整个网络的能量有贡献。
经过训练的玻尔兹曼机可以在以前没有见过的信息中识别熟悉的特征。它成为了生成式模型的雏形。
机器学习的今天和明天
John Hopfield和Geoffrey Hinton从20世纪80年代开始的工作，奠定了2010年左右开始的机器学习革命的基础。
在Hopfield 1982年的文章中，他的网络有30个节点。而如今的大语言模型，参数可能超过一万亿。
长期以来，机器学习一直被用于诺贝尔物理学奖中熟悉的领域，比如使用机器学习来筛选和处理发现希格斯粒子所需的大量数据，以及减少测量碰撞黑洞引力波时的噪音，或搜索系外行星。
物理学为机器学习的发展提供了工具，同时也从人工神经网络中收益。
百年诺奖，很少犯错
自1901年以来，诺贝尔物理学奖几乎每年都会颁发一次。
得奖的1～3三位科学家将永垂青史，获得物理学界最负盛名的奖项。
诺贝尔物理学奖的部分吸引力，在于它的神秘性。每个奖项颁发原因的确切细节，在颁发后50年内仍然保密。
诺贝尔物理学委员会是如何运作的？《物理世界》曾对前委员会主席有一篇采访，让我们了解世界顶尖的物理学奖项是如何被评选出来的。
瑞典粒子理论家Lars Brink曾八次担任诺贝尔物理学委员会委员。
他表示，每年颁发这个被誉为科学界最高荣誉的奖项是一项艰巨的任务，丝毫不容出错。
「这是如此享有盛誉的奖项，我们必须谨慎行事，不能犯任何错误。」他自豪地表示，在这个奖项一百多年的悠久历史中，「错误寥寥无几」。
只能说，今年委员会真是给全世界准备了一个大惊喜。
参考资料：
https://www.nobelprize.org/prizes/physics/2024/press-release/
https://physicsworld.com/a/inside-the-nobels-lars-brink-reveals-how-the-worlds-top-physics-prize-is-awarded/
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
