深度学习理解

首先介绍深度学习发展历程以及各个阶段的主要问题和解决办法。

第一代神经网络（1958-1969）

最早于1943年，心理学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在逻辑的演算》，提出MCP人工神经元模型。

于1958年，美国科学家罗森布拉特（Rosenblatt）提出感知器算法，该方法能够使用梯度下降法进行自动更新参数，于1962年，证明该方法可以收敛。

于1969年，美国数学家Minsky提出感知器只能处理线性分类问题，从而陷入低谷。

第二代神经网络（1986-1998）

于1986年，深度学习之父杰弗里*辛顿（Hinton）提出了BP算法，并进行Sigmoid非线性激活，有效解决非线性问题。

于1989年，LeCun发明卷积神经网络-LeNet。此时由于机器学习的快速发展，包括：1986年，决策树方法出现；1995年，Vapnik提出SVM；1997年，AdaBoost的提出；2000年，Kernel SVM的提出；2001年，随机森林，导致深度学习陷入冰点。

于1991年，有人提出BP算法，存在梯度消失问题。

于1997年，LSTM模型出现。

第三代神经网络

快速发展阶段（2006-2012）

于2006年，杰弗里*辛顿和他的学生，提出了梯度消失的解决方案：无监督预训练对权值进行初始化+有监督的反向传播算法进行微调。

于2011年，ReLU激活函数提出，可以有效抑制梯度消失问题。爆发期（2012-至今）

于2012年，杰弗里*辛顿与学生参加ImageNet图像识别比赛，通过构建CNN网络AlexNet夺冠，创新点：

l 首次采用ReLU激活函数

l 采用GPU加速

于2015年，Hinton,LeCun,Bengio论证了局部极值问题对深度学习的影响。

于2015年，何凯明提出Deep
Residual Net，使得深度学习成了名副其实的“深度”学习。

现阶段比较流行的网络，有深度神经网络（DNN）,卷积神经网络（CNN），循环递归神经网络（RNN），生成对抗网络（GAN）等。

l 前馈神经网络=全链接神经网络

l 残差网络含有跳层连接（图片信息不全）

l 卷积神经网络含有卷积层，ReLU层和池化层，最后为全连接层

l 现在的生成性对抗网络（GANs：generative adversarial networks）就没有使用池化层

至2018年深度学习框架，如下：