人工神经网络贡献者获得诺贝尔奖的一些联想

        2024年诺贝尔物理颁给了对人工神经网络做出基础性贡献的约翰·霍普菲尔德和“AI教父”杰弗里·辛顿，以表彰他们“为推动利用人工神经网络进行机器学习作出的基础性发现和发明”。诺贝尔奖官网信息如下。

John Hopfield invented a network that uses a method for saving and recreating patterns. We can imagine the nodes as pixels. The Hopfield network utilises physics that describes a material’s characteristics due to its atomic spin – a property that makes each atom a tiny magnet. The network as a whole is described in a manner equivalent to the energy in the spin system found in physics, and is trained by finding values for the connections between the nodes so that the saved images have low energy. When the Hopfield network is fed a distorted or incomplete image, it methodically works through the nodes and updates their values so the network’s energy falls. The network thus works stepwise to find the saved image that is most like the imperfect one it was fed with.

Geoffrey Hinton used the Hopfield network as the foundation for a new network that uses a different method: the Boltzmann machine. This can learn to recognise characteristic elements in a given type of data. Hinton used tools from statistical physics, the science of systems built from many similar components. The machine is trained by feeding it examples that are very likely to arise when the machine is run. The Boltzmann machine can be used to classify images or create new examples of the type of pattern on which it was trained. Hinton has built upon this work, helping initiate the current explosive development of machine learning.

-----------------

约翰-霍普菲尔德（John Hopfield）发明了一种网络，它使用一种保存和重现模式的方法。我们可以把节点想象成像素。霍普菲尔德网络利用物理学来描述一种材料因其原子自旋而产生的特性--这种特性使每个原子都成为一块微小的磁铁。整个网络的描述方式相当于物理学中自旋系统的能量，通过寻找节点之间的连接值进行训练，从而使保存的图像具有较低的能量。霍普菲尔德网络接收到扭曲或不完整的图像时，会有条不紊地处理节点，更新节点值，从而降低网络能量。这样，网络就会逐步找到最像输入的不完整图像的保存图像。

 杰弗里-辛顿（Geoffrey Hinton）将霍普菲尔德网络作为一种新网络的基础，这种网络使用了一种不同的方法：玻尔兹曼机。它可以学习识别特定类型数据中的特征元素。辛顿使用了统计物理学的工具，这是一门研究由许多相似组件构建的系统的科学。通过输入机器运行时极易出现的示例来训练机器。波尔兹曼机器可以用来对图像进行分类，或创建新的模式示例。辛顿在这项工作的基础上，帮助启动了当前机器学习的爆炸式发展。

        对于当前面向横向应用或纵向项目的深度学习领域的研究者来说，如果不去特意关心深度的历史这两个名字还是有一定陌生感的。（对于物理学领域的研究可能就更陌生了）

        约翰·霍普菲尔德主要以其提出的霍普菲尔德网络（Hopfield Network）闻名于世。这是一种全连接的递归神经网络，每个神经元都与网络中的其他每一个神经元相连。霍普菲尔德网络的一个重要应用是作为一个联想记忆系统，能够存储和回忆信息模式。这种网络能够从部分或嘈杂的输入中恢复完整的模式，类似于人脑的记忆再现过程。霍普菲尔德网络通过动态更新神经元状态直至达到一个稳定状态（即网络的能量最低状态），从而实现信息的存储和检索。这项工作不仅展示了神经网络在信息处理上的潜力，也激发了后来研究者对神经网络存储和计算能力的深入探索。

        杰弗·里辛顿的研究更为多元，在人工智能和神经网络领域具有深远影响力，在1986年与David Rumelhart、Ronald J. Williams在nature上发表了"Learning Internal Representations by Error Propagation"(通过反向传播误差学习表征，以现在眼光来看辛顿还是第二作者)，同年在三人出版的《并行分布式加工》（Parallel Distributed Processing）一书中提供了第一次成功使用反向传播在训练神经网络中的一些实验结果。

        或许我们能更熟悉的是，2012年的imagenet比赛中由辛顿指导的学生团队通过人工神经网络Alexnet获得了冠军，这个事件也可以看作本次人工智能爆发的起点，其意义除了显而易见的在某些任务中深度学习的效果是优秀的之外，还在于辛顿团队使用了GPU进行计算。我们也不难想象在此之前通过cpu处理需要庞大参数的神经网络的难度与人们不看好它的原因，在这个比赛之后，各大科技公司转变了其对深度学习与GPU长期以来的偏见（之前多数研究者或企业认为GPU用于渲染等应用）。现在我们普遍将使用了人工神经网络的机器学习称作深度学习，而深度学习的名字其实也由辛顿于2006年提出，在此之前通过神经网络进行人工智能的研究并没有使用这个名字，而多与“联结主义”（或者连接主义，connectionism）或并行分布处理相关联。

        从诺贝尔奖颁奖词来看，似乎诺贝尔奖更推崇的是由他与同事Simon Osindero、Yee Whye Teh和Ruslan Salakhutdinov开发的一种使用一系列逐层叠加的玻尔兹曼机对网络进行预训练的方法。其能够无监督地学习数据中的统计结构，为后续复杂模型提供预训练的特征表示。

        诺贝尔物理学奖颁发给人工智能领域的研究成果，这是一个历史性的时刻，标志着科学界对人工智能技术基础研究的极端重视与认可 ，预示AI将成为一门成熟的科学，并可能开启科学研究的新纪元。诺贝尔奖通常授予那些在基础科学领域（理科）做出突破性贡献的个人或团队，而人工智能虽然常被视为工程技术（工科）的一部分，但它的发展实际上深深植根于多个基础科学领域，包括但不限于物理学、数学、计算机科学和统计学。

        考虑到人工智能，特别是深度学习等分支，其背后的理论框架大量借鉴了统计物理学、信息论和计算理论等物理学和数学分支的原理，因此从基础科学的角度来看，人工智能的核心算法和理论完全有资格成为诺贝尔物理学或其他自然科学奖项的考虑对象。此外，人工智能技术对社会经济、医疗健康、环境保护等众多领域的革命性影响，也凸显了其作为跨学科研究的重要性。如果诺贝尔委员会决定表彰人工智能，将是对于该领域科研人员长期以来努力的认可，同时也将激励更多科学家投入到人工智能的基础理论和应用研究中，推动这一领域继续向前发展。

        不过，这个事件的确没有考虑物理专业的同学的感受，没想到计算机领域的还会来抢诺贝尔物理奖。恰好，今年开始很多院校的非计算机的专业研究生考试也都准备改考408（计算机考试科目），各专业向计算机“投降”一时成为了热点话题（我也准备投降了，准备新开一个深度学习的专栏）。其实，这一事件的背后是当今跨学科融合的需求不断增加，各领域对信息技术的要求不断提高，而这也是技术发展到当今程度下的一个必然现象。此外，人工智能专业和计算机专业也是存在一定区别的，408也基本与人工智能没什么关系，在我的研究生复试中，同样涉及了人工智能的内容。其科目名称是人工智能，但是也涉及了深搜光搜、排序算法的问题，关于人工智能考察的是专家系统、遗传算法、chatgpt等大模型的基本原理，与当前主流科研中的常见任务还是有一些区别的。还是比较老套的观点，考试也只是一种筛选手段而已。最后一段算是提醒考研划水中的同学好好复习了。