卷积神经网络框架三：Google网络--v3:Rethinking the Inception Architecture for Computer Vision

Rethinking the Inception Architecture for Computer Vision
简述：
我们将通过适当的因子卷积(factorized convolutions)和主动正则化(aggressive regularization)，以尽可能有效地利用增加的计算量的方式来解释如何扩展网络。并提出了Inception-v3网络架构，在ILSVRC 2012的分类任务中进行测试，错误率更低，达到了21.2% top-1 and 5.6% top-5 error。VGGNet虽然架构简单，但网络需要大量的计算。在本文中，我们首先描述了一些基本原理和优化思想，并证明对有效地扩展卷积网络非常有用，这是通过大量使用在inception模块的增加维度和并行结构来实现的，它允许减轻结构更改对附近组件的影响。
本文通过以下4个原则来改进原有的Inception网络：
1.避免典型的瓶颈，特别是在网络的初期。
2.高维表示更容易在网络中局部实现。
3.空间聚合可以通过更低维度的嵌入来实现，而不会损失太多或任何表示能力。
4.平衡网络的宽度和深度。

问题or相关工作：
1.辅助分级机(Auxiliary Classifiers)：侧分支（side head）机制再实际测试中没有很大的作用，有无侧分支并没有对结果有较大的影响，但如果侧分支是批处理规范化的[7]或具有dropout层，则网络的主分类器的性能会更好，这一点得到了支持。下图截取Inception-v1模型的部分，图中右侧的黄色部分即为侧分支（side head）

2.Efficient Grid Size Reduction：传统上，卷积网络使用一些池操作来减小特征图的网格大小。为了避免典型的瓶颈，在应用最大池或平均池之前，将扩展网络过滤器的维度。
3.Performance on Lower Resolution Input：实验表明，虽然高分辨输入的数据网络的准确率高，并且网络的性能较好，但是现有数据集同样存在低分辨率的数据。本文为了使分辨率不对准确率有大幅的改变，即为了做出准确的评估，模型需要分析模糊的提示，以便能够“幻觉”出细节，在下图的测试中，有了很好的效果。

1）299×299 field size，步长为2，第一层后有最大池化。
2）151×151 field size，步长为1，第一层后有最大池化。
3）79×79 field size，步长为1，第1层后未使用最大池化。
上表可以说明，虽然低分辨率的网络需要更长的时间来训练，但最终的结果质量与高分辨率的网络相当接近。

模型：

A）普通Inception模型

B）将Inception模块中的5×5卷积替换为两个3×3卷积

C）对n×n卷积层的拆分为n×1和1×n

D）将上面卷积filter分解的思路进一步改进，将3×3卷积分解3×1和1×3 filter

E ）减少网格大小的两种替代方法。但左边的这种做法违反了第一条原则，即避免引入典型的瓶颈瓶颈；右边的做法在计算量上要多3倍。

F）Inception模块，减少了网格大小，而扩大了filter banks(过滤器组)。它不仅参数少而且避免了原则1所说的bottleneck。右边的图表代表了相同的解决方案，但是是从网格大小而不是操作的角度来看的。

该表为本篇论文预设的网络框架，只要遵守原先提出的原则，网络的质量就会相对稳定。虽然我们的网络有42层，但是我们的计算成本只比GoogLeNet高2.5左右，而且它的效率仍然比VGGNet高很多。其中，图中figure 5为B图，figure 6为C图，figure 7为D图。
成果：
本文提供了几个扩展卷积网络的设计原则，并在Inception架构中研究了它们。这些原则可以创造出较高性能的网络，与更简单、更单一的架构相比，其计算成本相对较低。同时，本文还证明了在接受域分辨率低至79×79的情况下可以获得高质量的结果，这个突破可能在未来对探测相对较小的物体的系统有帮助。