深度学习基础知识

一、深度学习基础知识

1. 深度学习发展历史

以史为鉴可以知兴替

由上图可以看到，DL经历了三次热潮两次低谷。

第一代神经网络（1943~1969）

起源

最早的神经网络的思想起源于1943年神经科学家麦卡洛克(W.S.McCilloch) 和数学家皮兹（W.Pitts）在《数学生物物理学公告》上发表的论文《神经活动中内在思想的逻辑演算》（A Logical Calculus of the Ideas Immanent in Nervous Activity）。文中建立的神经网络和数学模型，MCP人工神经元模型，当时是希望能够用计算机来模拟人的神经元反应的过程，该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。如下图所示

发展

计算机科学家罗森布拉特（ Rosenblatt）提出了两层神经元组成的神经网络，称之为“感知器”(Perceptrons)。第一次将MCP用于机器学习（machine learning）分类(classification)。“感知器”算法算法使用MCP模型对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。1962年,该方法被证明为能够收敛，理论与实践效果引起第一次神经网络的浪潮。

第一次低谷

1969年，美国数学家及人工智能先驱 Marvin Minsky 在其著作中证明了感知器本质上是一种线性模型（linear model），只能处理线性分类问题，就连最简单的XOR（亦或）问题都无法正确分类。这等于直接宣判了感知器的死刑，神经网络的研究也陷入了将近20年的停滞。

冷静期（1969~1986）

山重水复疑无路

期间研究人员们并没有放弃对人工智能的追求，人们都在寻求出路，其研究方向也开始分裂，主要分为三派：1.连接主义学派；2.贝叶斯学派；3.类推学派。尤其是后两个学派在这个时期得到了大量新鲜血液的注入，这也为