第39课：几种深度学习网络

神经网络的历史沿革

缘起

1943年，神经生理学家和神经元解剖学家 Warren McCulloch 和数学家 Walter Pitts 提出了神经元的数学描述和结构，并且证明了只要有足够的简单神经元，在它们互相连接并同步运行的情况下，可以模拟任何计算函数。

这样开创性的工作被认为是 NN 的起点。

几度兴衰

1958年，计算机学家 Frank Rosenblatt 提出了一种具有三级结构的 NN，称为“感知机”（Perceptron）。它实际上是一种二元线性分类器，可以被看作一种单层 NN（参见下图）。

Rosenblatt 还给出了相应的感知机学习算法。

尽管结构简单，感知机能够学习并解决相当复杂的问题，在60年代掀起了 NN 研究的第一次热潮。很多人都认为只要使用成千上万的神经元，他们就能解决一切问题。

这股热潮持续了10年，终于因为感知机的作用终归有限（比如它不能处理线性不可分问题），在实践中无法产生实际的价值，而导致了 NN 发展的第一次低潮期。

直到80年代，NN 的研究才开始复苏。

1986年，David Rumelhart、Geoffrey Hinton 和 Ronald Williams 将反向传播算法用于多层 N