深度学习在图像分类等任务中的发展

本文简单介绍一下2012年以来几篇重要的图像分类论文。

2012年AlexNet[1]，证明了深层CNN网络能提升图像分类的效果。该文章使用了8层的网络，获得了2012年ImageNet数据集上图像分类的冠军。核心trick就是relu+local response normalization + overlapping pooling。为了避免过拟合使用了data augmentation + dropout。

针对单纯通过增大网络结构来提升效果的问题，2014年GoogLeNet[2]另辟蹊跷，通过从设计网络结构的角度来提升效果。论文设计了Iception这种结构来捕捉不同scale的特征，同时又通过1乘1的卷积来降维。为了缓解梯度消失的问题，又使用了auxiliary classifiers的trick。论文的主要贡献是证明了不同scale特征级联使用可以提升效果。2015年又有基于GoogLeNet的改进版[[3]，主要是提出了一些网络设计准则，并根据准则改进Inception。

2015年VGG[4]，进一步证明了depth在计算机视觉中的重要性。论文中使用的卷积核大小为3乘3，通过对比不同depth的网络，来证明depth大时效果更好。论文中分别对比的depth为11，13，16，19。