全网最新！| 深度学习发展史（1943-2024编年体）（The History of Deep Learning）

深度学习是人工智能领域的一个重要分支，它在图像识别、语音识别、自然语言处理等方面取得了显著的进展。

学习任一门知识都应该先从其历史开始，把握了历史，也就抓住了现在与未来 。

那么深度学习到底是经历了一段怎样的发展过程呢？下面我们就来了解一下深度学习发展史。

   1940s-1950s：早期神经网络概念

1943年，Warren McCulloch和Walter Pitts发表论文“A logical calculus of the ideas immanent in nervous activity”（神经活动中内在思想的逻辑演算），建立了神经网络和数学模型，称为MCP模型。奠定了神经网络和数学模型的基础。

MCP当时是希望能够用计算机来模拟人的神经元反应的过程，该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。如下图所示：

图：MCP模型

1949年，Donald Hebb提出了Hebbian学习规则，该规则表明，如果神经元A在接收到神经元B的输入后，持续发放输出，那么神经元A与神经元B之间的连接强度将增强：

Hebb学习规则与“条件反射”机理一致，并且已经得到了神经细胞学说的证实。Hebbian学习规则为神经元连接强度的学习机制提供了理论支持。

   1950s-1960s：感知机和早期模型

1958年，计算机科学家Frank Rosenblatt提出了两层神经元组成的神经网络，称之为感知器(Perceptrons)，使用MCP模型对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。

1969年，Marvin Minsky和Seymour Papert在他们的书《Perceptrons》中指出感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR（异或）问题都无法正确分类。

图：异或（XOR）问题：没有一条直线能将绿点和红点分开

   1980s-1990s：多层感知机和反向传播

1985年，Geoffrey Hinton等人发表论文A learning algorithm for boltzmann machines，提出了受限玻尔兹曼机 (RBM)。一种用于无监督学习的随机神经网络。可用于特征提取、降维。后来成为深度信念网络的组成块进而流行。

1986年，Geoffrey Hinton 发明了适用于多层感知器（MLP）的BP（Backpropagation）算法，并采用Sigmoid进行非线性映射，有效解决了非线性分类和训练的问题。该方法引起了神经网络的第二次热潮。

1989年，Yann LeCun等人发表论文Backpropagation Applied to Handwritten Zip Code Recognition（反向传播应用于手写邮政编码识别），使用BP算法训练卷积神经网络（CNN）用于手写数字识别。