神经网络的发展历史概述

神经网络的发展也经历了高潮和低谷，本文主要对其发展的几个关键节点进行简要说明，之后的文章会对各阶段主要技术进行讲解。

第一阶段

1943年，美国神经生理学家Warren McCulloch和数学家Walter Pitts首次提出形式神经元模型–M-P模型；
1958年，Roseblatt提出感知器；
1969年，Minsky和Papert指出感知器无法解决线性不可分问题，神经网络的发展陷入低潮。

第二阶段

1980年，福岛邦彦等人提出神经认知机；
1982年，Hopfield等人提出Hopfield 模型；
1986年，Rmelhart等人提出了误差反向传播算法；
1989年，LeCun等人提出了卷积神经网络，但由于训练时间长等问题，以及当时SVM更受欢迎的原因，神经网络的研究再次陷入低潮。

第三阶段

2006年，Hinton和Bengio等人提出将与训练和自编码器与深度神经网络相结合的办法；
2011年，得益于Hinton和Bengio等人的研究，神经网络在图像和语音识别领域取得突破性成果，受到人们的重视，标志着神经网络的第三次崛起；
2012年，Krizhevsky等人提出将ReLU作为卷积神经网络的激活函数，使得神经网络在图像识别任务中取得巨大优势，同时，神经网络开始不断的快速发展。

参考书籍：
[1] [日]山下隆义. 图解深度学习[M]. 张弥,译. 北京:人民邮电出版社,2018.