深度学习——CNN发展历程简述

CNN（卷积神经网络）的鼻祖LeCun，于1998年提出LeNet-5模型，标志着神经网络的正式出生。

1998年：

1998年LeCun在《Gradient-based learning applied to document recognition》中提出LeNet-5模型。

由于两个原因，一是BP训练时的计算量太大，硬件计算能力差；二是浅层机器学习算法也开始表现得越来越好，特别是SVM。CNN休眠了。

2006年：

Geoff Hinton在《科学》杂志上发表的文章《Reducing the dimensionality of data with neural networks》，文章指出：多隐层神经网络具有更为优异的特征学习能力，并且其在训练上的复杂度可以通过逐层初始化来有效缓解。

2012年：

2012年Alexnet在ImageNet竞赛中得了两个第一，正确率超出第二近10%。详细信息记录在Geoff Hinton的文献《Imagenet classification with deep convolutional neural networks》中。

Taigman等人发表在2014年的CVPR上的文章《DeepFace: Closing the Gap to Human-Level Performance in Face Verification》。同时DeepFace成为CNN在人脸识别领域中的标志性研究成果。

2015年：

2015年深度学习领域的三巨头LeCun、Bengio 、Hinton在Nature上发表一篇名为《Deep Learning》的综述，系统地总结了深度学习的发展前世今生，是一篇科普性较强的文章。

 

今天，得益于GPU硬件加速和大数据技术，CNN已从学术界走向工程界，大量应用在图像分类、物体检测、图像分割、图像标注、图像生成等实际工程领域。