CNN总结

GoogleNet：增加感受野

GoogleNet提出了一种Inception结构，如上右图，从上一层到下一层的时候，分出四块，每块具有不同的卷积核，然后汇合在下面，使用了一个concrete层。好处在于，采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合。之所以卷积核大小采用1、3、5，主要是为了方便对齐。设定卷积步长stride=1之后，只要分别设定pad=0、1、2，那么卷积之后便可以得到相同维度的特征，然后这些特征就可以直接拼接在一起了。网络越到后面，特征越抽象，而且每个特征所涉及的感受野也更大了，因此随着层数的增加，3x3和5x5卷积的比例也要增加。另外Inception结构中也使用了pooling层。但是，使用5x5的卷积核仍然会带来巨大的计算量。 为此，采用1x1卷积核来进行降维。

深度残差网络：更深的网络结构

VGG网络试着探寻了一下深度学习网络的深度究竟可以深到何种程度还可以持续提高分类的准确率。对于传统的深度学习网络，我们普遍认为网络深度越深（参数越多）非线性的表达能力越强，该网络所能学习到的东西就越多。我们凭借这一基本规则，经典的CNN网络从LetNet-5（5层）和AlexNet（8层）发展到VGGNet(16-19)，再到后来GoogleNet（22层）。根据VGGNet的实验结果可知，在某种程度上网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果。但是更深的网络其性能一定会更好吗？我们后来发现传统的CNN网络结构随着层数加深到一定程度之后，越深的网络反而效果更差，深度残差网络解决了这一问题，是的神经网络的层数可以变成几百层。

AlexNet、VGG、GoogLeNet、ResNet对比

LeNet主要是用于识别10个手写数字的，当然，只要稍加改造也能用在ImageNet数据集上，但效果较差。而本文要介绍的后续模型都是ILSVRC竞赛历年的佼佼者，这里具体比较AlexNet、VGG、GoogLeNet、ResNet四个模型。如表1所示。