深度学习(2): 神经网络的历史背景

注：转载请标明原文出处链接：https://xiongyiming.blog.csdn.net/article/details/98960059

人工神经网络 (Artificial Neural Network, ANN)，它是现今最火热的人工智能研究方向深度学习的基础。人工神经网络以其独特的网络结构和处理信息的方法，在自动控制领域、组合优化问题、模式识别、图像处理、自然语言处理等诸多领域，己经取得了辉煌的成绩。
深度学习是基于神经网络发展起来的技术，而神经网络的发展具有悠久的历史，且发展历程可谓一波三折。如今，历经两次潮起潮落后，神经网络迎来了它的第三次崛起。下图展示了其发展历程中的转折点。通过此图还可以看出，人们对神经网络的研究可以追溯到20世纪40年代，并且第一次热潮持续到了20世纪60年代末。

1. 第一阶段

1943年，美国神经生理学家沃伦·麦卡洛克( Warren McCulloch ) 和 数学家沃尔特·皮茨(Wa lter Pitts) 对生物神经元进行建模，首次提出了一种形式神经元模型。这个神经元模型通过电阻等元件构建的物理网络得以实现，被称为 M-P 模型。1958年，罗森布拉特(Roseblatt )又提出来了感知器，这意味着经过训练后，计算机能够确定神经元的连接权重。就这样，神经网络的研究迎来了第一次高潮。 然而在1969年，明斯基(Minsky)等人指出感知器无法解决线性不可分问题，使得神经网络网络的研究陷入了第一次低谷。

2. 第二阶段

1986年，Rumelhart (鲁梅尔哈特) 等人提出了误差反向传播算法(Back Propagation, BP)通过设置多层感知器，解决了线性不可分问题。从反向传播算法的发表开始，神经网络迎来第二次高潮。1989年，Yann Lecun 等研究人员实现了一个7层的卷积神经网络 LeNet-5，识别手写数字的精度达到了98%。在这段时间内，一大批学者和研究人员围绕 Hopfield提出的人工神经网络方法展开了进一步研究，形成了20世纪80年代中期以来人工神经网络的研究热潮。可是好景不长，在20世纪末，支持向量机(SVM)和其他机器学习算法的流行程度逐渐高涨，更重要的是其他机器学习算法在实现效率上远超神经网络。随着PageRank等互联网新兴的算法不断被提出，学者们的研究重心也开始转移到其他机器学习算法上，神经网络的研究热潮又迎来了第二次低谷。

3. 第三阶段

2006年，Hinton(辛顿) 等人利用限制玻尔兹曼机对神经网络的连续层进行建模，使用逐层预训练的方法抽取模型数据中的高维特征，后来又提出了深度信念网络。这一技巧随后被众多学者推广到了许多不同的神经网络架构上，大大地提高了模型在测试集上的泛化效果。同时，随着硬件计算能力和算法的提升，网络隐层可以不断增加，于是以Hinton为代表的研究人员重新将人工神经网络定义为深度学习人工神经网络定义为深度学习，并进行推广。自201l年起，神经网络就在语音识别和图像识别基准测试中获得了压倒性优势，由此迎来了它的第三次高潮。这一次神经网络的高潮与开源运动相结合，衍生了一系列的深度学习开源框架，才有了今天深度学习在无人驾驶、机器翻译、金融风控等诸多领域的广泛应用。而且由于卷积神经网络的结构非常适合用于识别图像，再结合那些研究成果，所以也重新受到了人们的重视。与第二次崛起时不同的是，在这个时期，硬件已得到了进一步发展，大量训练数据的收集也更加容易。在硬件方面，通过高速的GPU并行运算，只需几天即可完成深层网络(例如IO层网络)的训练。另外，随着互联网的普及，我们能够获得大量的训练数据，进而抑制过拟合。这些外界环境的变化也为神经网络的技术进步提供了有力支撑。

---

参考资料

[1] 图解深度学习
[2] 深度学习原理与实践
[3] TensorFlow实战Google深度学习框架(第2版)