前言
卷积神经网络的发展主要是为了解决人类视觉问题,不过现在其它方向也都会使用。发展历程主要从Lenet5->Alexnet->VGG->GooLenet->ResNet等。
Lenet5
上世界80年代发明了卷积层,但由于硬件限制无法构建复杂网络,直到后面90年代才开始有实践。
1998年LeCun提出卷积层、池化层和完全连接层组合,以此来解决手写数字的识别问题。此时的效果已经很不错了,能与其它经典的机器学习模型相比。架构如下,一个32 x 32的输入,通过卷积提取特征,然后进行下采样,再一次卷积和下采样,后面进行全连接和高斯连接。
Alexnet
后来随着可用的结构化数据和处理能力呈指数增长,使得模型能进一步增强,特别是Imagenet开源数据集的出现,数百万张被标记分类的图像。
2012年的LSVRC挑战赛,Hinton和他学生Alex Krizhevsky开发了Alexnet深度卷积网络,结构类似Lenet5,但是卷积层深度更深,参数总数达数千万。结构如下,多个卷积层且每个网络深度都达数百。
VGG
2014年LSVRC挑战赛强大的竞争者,由牛津大学视觉几何组织提出