深度学习在图像分类等任务中的发展

本文简单介绍一下2012年以来几篇重要的图像分类论文。

2012年AlexNet[1]，证明了深层CNN网络能提升图像分类的效果。该文章使用了8层的网络，获得了2012年ImageNet数据集上图像分类的冠军。核心trick就是relu+local response normalization + overlapping pooling。为了避免过拟合使用了data augmentation + dropout。

针对单纯通过增大网络结构来提升效果的问题，2014年GoogLeNet[2]另辟蹊跷，通过从设计网络结构的角度来提升效果。论文设计了Iception这种结构来捕捉不同scale的特征，同时又通过1乘1的卷积来降维。为了缓解梯度消失的问题，又使用了auxiliary classifiers的trick。论文的主要贡献是证明了不同scale特征级联使用可以提升效果。2015年又有基于GoogLeNet的改进版[[3]，主要是提出了一些网络设计准则，并根据准则改进Inception。

2015年VGG[4]，进一步证明了depth在计算机视觉中的重要性。论文中使用的卷积核大小为3乘3，通过对比不同depth的网络，来证明depth大时效果更好。论文中分别对比的depth为11，13，16，19。

2015年更为重要的两个工作是高速公路网络[5]和深度残差网络[6]。高速公路网络有点借鉴LSTM门单元的思想，通过门控制shortcut connections，从而控制信息传播，从而可以训练更深层的网络。深度残差网络首先提出深层网络存在degradation的现象，受该现象的启发，提出了拟合残差网络的方法。核心思想是shortcut connection时恒为identity，根据输入x去拟合F(x)=H(x)-x，最后再把F(x)与shortcut connection相加。当x与F(x)的维度不一样时，对x有补0和projection两种方式，projection的方式效果会稍微好一点点但是参数会多很多，因此论文使用了补0的方式。通过这种拟合残差网络的方法，随着网络的增加就没有再观测到degradation的现象了。该方法是2015年的大赢家，在ImageNet和COCO等数据集上的多种任务中获得冠军。

[1]. ImageNet Classification with Deep ConvolutionalNeural Networks 

[2]. Going deeper with convolutions 

[3]. Rethinking the Inception Architecture for Computer Vision 

[4]. VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION 

[5]. Highway Networks 

[6]. Deep Residual Learning for Image Recognition