深度学习研究理解11：Going deeper with convolutions

本文是Google公司的Christian Szegedy等大牛们于2014年提出的“深深”的网络，其中提出了很多新颖的结构和想法；并在ILSVRC2014中，获得了分类和检测第一的好成绩。

摘要：

本文提出了一个新深度网络的“结构”，命名为inception（开端之意，个人命名为起航）；这个结构可以充分利用网络中“计算资源”（充分开发和利用每层提取的特征）；在保证固定计算复杂度前提下，通过人工的进行设计来允许增加网络的深度和宽度实现的。结构是基于Hebbian准则和multi-scale处理来优化其性质的。

我们可以假定，反射活动的持续与重复会导致神经元稳定性的持久性提升……当神经元A的轴突与神经元B很近并参与了对B的重复持续的兴奋时，这两个神经元或其中一个便会发生某些生长过程或代谢变化，致使A作为能使B兴奋的细胞之一，它的效能增强了。这一理论经常会被总结为“一起发射的神经元连在一起”（Cells that fire together, wiretogether）。这可以用于解释“联合学习”（associative learning），在这种学习中通过对神经元的刺激使得神经元间的突触强度增加。这样的学习方法被称为赫布型学习（Hebbian learning）。 （百度百科）

海扁学习法专业描述。我们来重新专业地描述一下。如果两个神经元常常同时产生动作电位，或者说同时激动（fire），这两个神经元之间的连接就会变强，反之则变弱。（http://blog.sina.com.cn/s/blog_569d6df80100wug8.html）

一：介绍

近年来在图像识别和物体检测领域的进步，除了强悍的硬件，大的数据集，大的模型外，还有新想法，算法和改进的网络结构的功劳。GoogLeNet比Alex-net少12倍的参数而且更加准确。在物体检测领域，最大的贡献来源于深度网络和经典的计算机视觉算法的融合，例如RNN，感觉SPP也是。

本文不光追求推进网络的识别率，算法的效率和内存也是本文的关注点；所以本文所有网络的设计，保证在测试阶段在15亿乘-加指令以内

本文关注于一个对于CV来说高效的深度网络结构-inception。本文的深度有两次意思：

1，以inception模块的形式提出了一种新的深度组织形式

2，直接增加层数的意思

一般来说，可以把inception看成是Network inNetwork的“逻辑顶点”；从“Provable bounds for learning deep representation”的理论研究中获得灵感和指导。

二，相关工作

受到灵长类神经视觉系统的启发，Serre使用不同尺寸的Gabor滤波器来处理不同尺寸的图片，这个和inception很相似。

Network-inNetwork是为了增加网络表达能力提出的深度网络。当应用到卷积网络，其可以被看做是1*1的卷积层，后面跟着ReLU函数。本文的网络大量应用这种结构，然而在我们的网络中这种结构有双重作用：主要用于维数约减模块来移除计算瓶颈，否则这个瓶颈会限制我们网络的大小。这样不仅允许我们增加深度，而且允许我们增加宽度。

当前最流行的检测算法就是Girshick提出的Regions-CNN；R-CNN把检测任务分解为两个子任务：1利用“底层的”线索（颜色或者像素的一致性）提取潜在的物体。2使用CNN来分类潜在的物体。我们进一步改进了其算法，例如multi-box预测等。

三 动机和高级的考量

在大量的带标签的数据集前提下，提升深度网络性能最简单的方式就是增加网络的size；包括增加深度和宽度。这种方法有两个瓶颈：

1，大的网络需要更多的参数，较多的参数在固定的数据集下，容易造成网络过拟合。高质量的大数据集是非常昂贵的。

2，大的网络需要更多的计算资源。例如连个相互连接的卷积网络，一致的增加网络的卷积数目，导致计算量二阶增涨。此外，如果额外增加的网络没有得到有效的利用（很多权值接近0），会造成计算资源浪费。

本文认为解决上了两个问题最基本的方式是：从全连接转到稀疏