极光喵的博客

SENet，由胡杰于2017.9提出，其通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力。即，通道维度上的注意力机制。SE模块仅需微小的计算成本，却产生了显著的性能改进。在ILSVRC2017比赛中，SENet block与ResNeXt结合获得了第一名。

作为CVPR2017年的Best Paper， DenseNet脱离了通过加深网络层数(VGG，ResNet)和加宽网络结构(GoogLeNet)来提升网络性能的定式思维， 从特征的角度考虑, 通过特征重用和旁路(Bypass)设置，既大幅度减少了网络的参数量，又在一定程度上缓解了梯度弥散问题的产生. 结合信息流和特征复用的假设， DenseNet当之无愧成为2017年计算机视觉顶会的年度最佳论文。另外，本文还对FractalNet进行了介绍，FractalNet与DenseNet的设计思想有异曲同工之妙。

深度残差网络（Deep residual network, ResNet）的提出是CNN图像史上的一件里程碑事件，ResNet在2015年发表当年取得了图像分类，检测等等5项大赛第一，并又一次刷新了CNN模型在ImageNet上的历史记录。直到今天，各种最先进的模型中依然处处可见残差连接的身影，其paper引用量是CV领域第一名。ResNet的作者何恺明也因此摘得CVPR2016最佳论文奖，当然何博士的成就远不止于此，感兴趣的可以去搜一下他后来的辉煌战绩。

在2014年的ImageNet挑战赛（ILSVRC14）上，GoogLeNet模型和VGG模型成为了当年的双雄。GoogLeNet获得了图片分类大赛的第一名，VGG紧随其后。这两种模型的共同特点是网络深度更深。VGG是基于LeNet和AlexNet的一些框架结构，而GoogLeNet则采用了更加大胆的网络结构。GoogLeNet仅有22层，它的尺寸比AlexNet和VGG要小得多。是AlexNet是1/12. 效果却更好。

2014年，牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员Karen Simonyan和Andrew Zisserman研发出了新的深度卷积神经网络：VGGNet，并在ILSVRC2014比赛分类项目中取得了第二名的好成绩（第一名是同年提出的GoogLeNet模型），同时在定位项目中获得第一名。

ZFNet在2013年 ILSVRC 图像分类竞赛获得冠军，错误率11.19% ，比去年的AlexNet降低了5%，ZFNet是由 Matthew D.Zeiler 和 Rob Fergus 在 AlexNet 基础上提出的大型卷积网络。ZFNet解释了为什么卷积神经网络可以在图像分类上表现的如此出色，以及研究了如何优化卷积神经网络。ZFNet提出了一种可视化的技术，通过可视化，我们就可以了解卷积神经网络中间层的功能和分类器的操作，这样就就可以找到较好的模型。

2012年，Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton带领的实验室设计出了一个深层的卷积神经网络，即AlexNet。在此之前，深度学习已经沉寂了将近20年，可以说AlexNet引发了深度学习的大爆发。