卷积神经网络

不错的链接：ILSVRC-ImageNet历年竞赛冠军

非常不错的链接：经典的 DCNN (Deep Convolutional Neural Network)

2006 年后，随着深度学习理论的完善，随着参数微调（fine-tuning）和逐层学习技术的发展，CNN 得到急速发展，不断加深结构，引入各种学习和优化理论。之后，卷积神经网络出现的各种变体也得到了极大的应用，包括 AlexNet，ZFNet、VGGNet、GoogLeNet、 ResNet，且均在 ImageNet 大规模视觉识别竞赛（ImageNet Large Scale Visual Recognition Challenge, ILSVRC，2010-2017年）上获取优胜算法称号。

---

以下内容摘录自《基于卷积神经网络的文物识别系统的研究与实现_王梦婷》

（感觉2016、2017的时间和模型对应得有点错乱，但是冠军没有对应错，就先这样吧）

1989年 LeNet 雏形，Yann Lecun将反向传播应用在神经网络结构的训练中，形成LeNet雏形。

2012年 AlexNet 获得ILSVRC分类冠军，由Hinton 和他的学生Alex KrizhevskySl提出。AlexNet 利用两块GPU进行计算，大大减少了运行时间。相较于LeNet-S, AlexNet 网络深度更深，其使用了更多地卷积层和全连接层，并使用了11x11、5x5和3x3三个尺度的卷积核。在网络中使用ReLu函数作为激活函数，增强了网络非线性表现能力，并在全连接层中使用了DropOut来防止过拟合。

2013年 ZFNet 获得ILSVRC分类冠军，由Zeiler和Fergus提出。该网络在AlexNet基础上做了略微调整，整体网络结构没有太大变化。但其从科学的角度出发，通过可视化技术解释网络各层是如何工作的，根据对AlexNet网络进行可视化发现，如果将AlexNet的第一个卷积层将步长设置为2，卷积核尺寸为7x7，网络能提取到更有效的特征。

2014年：

• GooLeNet 获得ILSVRC分类冠军，由谷歌研究的深度卷积网络。GooLeNet不仅加深了网络深度，还拓宽了网络宽度，其网络深度有22层，但是参数量仅为AlexNet的十二分之一， 他们提出了Inception网络结构，Inception 有多个版本，不断趋于完善。
• VGGNet 获得ILSVRC分类亚军，是牛津大学计算机视觉组合和Google DeepMind公司研究员一起设计的卷积网络。VGGNet结构与LeNet-5和AlexNet结构类似，但其加深了网络深度，通过小卷积堆叠的方式构建整个网络。VGGNet使用 2个3 x3卷积核代替5x5卷积核，3个 3 x 3卷积核代替7x 7卷积核，他们的感受野是一样的，但使用3 x 3卷积核增加了非线性次数使网络表达能力更强，同时还减少了参数量。虽然已经通过3x3卷积核减少了参数量，但网络最后的全连接层的使用还是使VGGNet参数总量为AlexNet的三倍之多。VGGNet证明了更深层的网络有更好的表现能力，有很大的研究价值。

2015年 ResNet 获得ILSVRC分类冠军，由何凯明团队提出。ResNet（深度残差网络）引入了残差块结构防止梯度消失，是的训练成百上千层网络成为可能。ResNet的出现是CNN的一个里程碑事件，在这之后涌现了大量基于ResNet的改进模型。

2016年：

• Trimps-Soushen 冠军
• ResNext 亚军 是Inception结构与ResNet的结合，与Inception-v4不同，其每个分支结构相同。
• Inception-ResNet 网络，Szegedy将 Inception 结构与ResNet 的残差结构相结合提出Inception-ResNet网络，它有v1和v2两个版本，对应Inception-v3 和Inception-v4。
• 何凯明提出了改进的残差网络结构。

2017年：

• SENet 冠军 ，由Momenta团队提出，SENet的核心是SE模块。先对原始特征图进行压缩(squeeze)操作，将维度为HxWxC的特征图压缩为1 x1xC，也就是这一维参数获得了全局特征。然后对得到的每个通道的重要性后激励(excitation) 到原始特征图的对应通道上。
• DenseNet 模型将前面所有层与后面层进行紧密连接，并实现了特征重用。与ResNet相比，DenseNet 参数量和计算成本更少,但性能更好。
• ResNext 模型是Inception结构与ResNet的结合，与Inception-v4不同，其每个分支结构相同。
• Xception 是对 Inception-v3 的一种改进，其对1x1卷积后的每个通道分别进行3x3卷积操作。
• 轻量级
  • 谷歌提出了应用于移动端或嵌入式设备中的轻量级CNN网络MobileNet，提出了深度可分离卷积。
  • Face++提出的一种轻量化网络结构ShuffleNet，其核心是使用分组卷积和Channelshuffle。