【论文阅读】Going Deeper with convolutions

论文简介：

《Going Deeper with convolutions》是谷歌团队，在2014ILSVRC (ImageNet Large Scale Visual Recognition Competition)竞赛中，在分类任务中获得第一名的22层的Inception网络实例GoogLeNet的论文详解。

一、Abstract 摘要

基于Hebbian principle、图像多尺度处理等原理，作者提出一种新的Inception网络结构单元模块，基于Inception网络结构单元模块，采用一些巧妙的设计，构造出一个宽度和深度都较大，性能更好，但是参数量和计算需求不太大的网络模型GoogLeNet。

二、Introduction 介绍

深度学习在计算机视领域的巨大进步，不是在单纯的增加网络的宽度、深度，使用更大的网络模型，更好的硬件资源以及更大的数据集来获得的，而是来自于一些新的思想、算法、网络结构等。例如目标检测的R-CNN结合了传统视觉和CNN的优点。算法性能很重要，算法的内存消耗以及计算量也很重要，其决定了算法能否得到实际使用。

增大网络宽度（神经网络一层的神经元的个数，卷积核的个数）、深度，再加上使用dropout解决过拟合问题，是一个可以较稳妥的获得较好效果的网络模型的手段，但是是低效的。且也需要较大的数据集，构建高质量数据集是棘手且昂贵的一件事。

Inception结构大量使用了1x1卷积层，主要原因是：它可以通过降维来降低计算量，同时也可以加深网络的深度，或者是宽度。在增加网络宽度和深度的时候，使用bottle neck 式的1x1卷积层来做降维处理，此处的bottle neck是说1x1的前一层和后一层都有较多的卷积核（神经元），较多的feature map，1x1层使用较少的卷积核（较少的feature map），1x1就像一个瓶子的颈部。对特征图层进行降维（注意是通道的降维，不是空间的降维）。与没有1x1的bottle neck形的网络结构相比（前一层若干个神经元到后一层若干个神经元），有1x1的bottle neck形的网络结构可以具有更少的网络参数，更少的计算量。

三、Motivation and High Level Consideration

如果一个数据集的统计分布特性可以使用一个大的网络来描述，则传统简单的增加网络宽度、深度，使用dropout以及正则化训练得到的网络，多数是一个稀疏网络，网络中很大一部分参数为0，网络层中的feature map 是稀疏的（多数是0值，少数非0值），网络同一层的各个不同feature map在channel方向是稀疏、聚类的，在某个特定x,y位置的channel方向上，来自不同feature map的激活值可以进行聚类为少量的几个簇，聚类为一个簇的对应神经元是一个filter banks，是Hebbian principle的“有些神经元响应基本一致，即同时兴奋或抑制”一致。

网络的feature map在channel方向是稀疏、聚类的，所示可以使用比较少的1x1的层进行网络feature信息的聚类、压缩，再传给网络的下一层。例如某个1x1层的某一个卷积核的参数（学习得来的）为[0,0,1,1,0,1,0,0]，则该卷积核类似在进行对上一层的3,4,6三个卷积核的输出值进行聚类作用。在将稀疏的激活值进行聚类。

现代的经过针对CPU,GPU结构进行深度优化的软件计算库，对稠密数据具有较高的计算效率，对稀疏数据反而具有较低的计算效率（尽管其需要参与计算的数及操作较少）。所以为了兼顾网络稀疏性的要求，以及要使用经过充足优化后的软件计算库，以及使用传统图像的多尺度处理原则，Inception网络结构单元模块中的1x1  bottle neck对稀疏数据进行聚类压缩，且还和传统卷积一样保持了相同的计算形式，都是卷积形式，而不是其他什么针对稀疏数据的其他特别处理手段，继续使用了优化软件库的稠密计算优点。

如此一来，使用Inception网络结构单元模块，配合为网络各层设置合适的1x1,3x3,5x5卷积核的个数，可以构建出一个宽度较宽，且深度较深，而网络模型参数较少的CNN网络，此网络模型具有较强的表示能力，且具有较低的计算量（较高的计算效率）。

在深度加深的情况下，在BP算法执行时可能会使得某些梯度为0，这会使得网络的收敛变慢。论文中使用的方法是增加两个输出层（Auxiliary Classifiers），这样一些权值更新的梯度就会来自于多个部分的叠加，加速了网络的收敛。但预测时会吧AC层去掉。

四、GoogLeNet网络结构

GoogLeNet网络有22层，最后一层使用了NIN网络中的全局平均池化层，但还是会加上FC层，再输入到softmax函数中