Hinton：我终于想明白大脑怎么工作了！神经学家花三十年，寻找反向传播的生物机制

Hinton：我终于想明白大脑怎么工作了！神经学家花三十年，寻找反向传播的生物机制

 

若干年来，大脑的工作原理让AI研究者们前赴后继，而横亘在人工智能网络和大脑工作原理之间的，就是反向传播算法。 Geoffrey Hinton 从年少时起就深深着迷于大脑的奥秘，为了真正理解大脑如何工作，并在大学期间横跨了心理学、化学、物理、生物学和哲学等学科的研究。 在过去的三十多年里，神经科学家Terrence J. Sejnowski 几乎每隔一段时间都会接到 Hinton 的电话，「我终于知道大脑是如何工作了！」。 反向传播是深度学习不可或缺的一部分。正是因为反向传播算法，神经网络才能得到复兴并被大量应用。该算法使深度网络能够从数据中学习，赋予它们分类图像、识别语音、翻译语言、理解无人驾驶路况以及完成大量其他任务的能力。 反向传播算法也遭到了诸多质疑，很多研究者认为真正的大脑不太可能依赖同样的算法。Yoshua Bengio表示，这不仅仅因为「大脑能够比最先进的人工智能系统更好、更快地概括和学习」。反向传播不符合大脑的解剖学构造和生理学，特别是在大脑皮层当中。
在Hinton的启发下，Bengio 和其他许多学者都一直在思考更具生物学意义的学习机制，希望发现可替代反向传播的机制。在这些机制当中，反馈对比、平衡传播和预测编码理论具有独特的应用前景。一些研究人员还将某些类型的皮层神经元和注意力等特性加入到他们的模型中。所有这些努力都使我们距离理解可能在大脑中起作用的算法更进了一步。 大脑是一个巨大的谜团。如果能够揭开它的一些原理，对人工智能有重大的价值。本文对现有的试图解释大脑工作机制的研究进行了梳理。

01

 

通过反向传播进行学习

 加拿大心理学家Donald Hebb在1949年曾提出一条指导规则，几十年来，神经科学家关于大脑如何学习的理论主要受到这条规则的影响。这条规则通常被解释为「两个神经元一起放电的时候，他们之间的突触连接会逐步建立或增强。」（Neurons that fire together，wire together）也就是说，相邻神经元的活动相连性越强，它们之间的突触联系就越强。这个原则，经过一些修正，成功地解释了某些有限类型的学习和视觉分类任务。  但是，对于需要从误差中学习的大型神经元网络来说，这种方法就没那么奏效了；神经网络深处的神经元并没有直接有针对性的方法来学习已发现的误差，来进行自我更新，以减少误差。
斯坦福大学计算神经学家和计算机科学家 Daniel Yamins说，「赫布规则是一种使用误差信息的非常狭窄、特殊和不敏感的方法。」 斯坦福大学计算神经学家Daniel Yamins
尽管如此，这仍然是神经科学家所能利用的最好的学习规则，20世纪50年代后期，这条规则启发了第一个人工神经网络的发展。和生物神经系统相似，这些网络中的每个人工神经元接收多个输入并产生一个输出。神经元将每个输入乘以一个所谓的「突触」权重，然后对加权后的输入进行加总。这个总和就是神经元的输出。 到了20世纪60年代，这些神经元可以被组织成一个有输入层和输出层的网络，人工神经网络可以被训练来解决一系列简单的问题。在训练过程中，神经网络能够为其神经元确定最佳权重，以消除或减少误差。 然而，即使是在20世纪60年代，研究者们意识到，解决更复杂的问题需要在输入层和输出层之间加上一个或多个神经元的隐藏层。直到1986年，Hinton，已故的 David Rumelhart 和 Ronald Williams (现在在美国东北大学)发表反向传播算法之前，没有人知道如何有效地训练带有隐藏层的人工神经网络。

 

该算法分为两个阶段。在「前向」传播阶段，当给网络一个输入时，它会推断出一个输出，这个输出可能是有误差的。第二个「反向」传播阶段更新突触的权重，使输出与目标值更加一致。
为了方便理解这个过程，可以比作一个「损失函数」，它将推断出的产出和预期的产出之间的差异描述为丘陵和山谷的景观。当一个网络通过一组给定的突触权重进行推断时，它最终会出现在损失区域的某个位置。为了学习，它需要沿着斜坡或梯度方向向下移动，在那里损失会尽可能地减少到最小。反向传播是一种更新突触权重以降低梯度的方法。 本质上，算法的反向阶段通过计算每个神经元的突触权重对错误的贡献程度，然后更新这些权重以提高网络的性能。这种计算顺序是从输出层反向进行到输入层，因此称为反向传播。对于输入和期望的输出反反复复这样操作，最终你会得到一组适合整个神经网络的权重。

02