人工智能：卷积神经网络概述

卷积神经网络

1962年，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时，发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks，CNN）。1980年，Fukushima基于神经元间的局部连通性和图像的层次组织转换，为解决模式识别问题，提出的新识别机是卷积神经网络的第一个实现网络。

随着1986年BP算法以及权值共享和池化的提出，LeCun和其合作者遵循这一想法，使用误差梯度设计和训练卷积神经网络，在一些模式识别任务中获得了先进的性能。在1998年，他们建立了一个多层人工神经网络——LeNet-5，用于手写数字分类，这是第一个正式的卷积神经网络模型。类似于一般的神经网络，LeNet-5有7层，包括2个卷积层，2个池化层和3个全连接层，利用BP算法来训练参数。它可以获得原始图像的有效表示，使得直接从原始像素中识别视觉模式成为可能。然而，由于当时大型训练数据和计算能力的缺乏，使得LeNet-5在面对更复杂的问题时，如大规模图像和视频分类，不能表现出良好的性能。

在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，主要原因有：一是多层神经网络在进行BP训练时的计算量极其大，当时的硬件计算能力完全不可能实现；二是包括支持向量机（SVM）在内的浅层机器学习算法也渐渐开始暂露头脚。

直到2006年，Hinton等人在《科学》上发表深度学习文章，然后CNN再度觉醒，并取得长足发展。随后，更多的科研工作者对该网络进行了改进。其中，