GoogLeNet v4

GoogLeNet v4

3. Architectural Choices

3.1. Pure Inception blocks

从历史上看，我们对于更改体系结构的选择比较保守，我们的实验仅限于改变孤立的网络组件，同时保持网络其余部分的稳定，在inception中，我们决定放弃这个不必要的包袱，并为每个网格大小对Inception block做出统一的选择。

3.2. Residual Inception Blocks

每个inception block后面是filter-expansion layer（1x1没有激活的卷积），用于放大维度，以匹配输入的channel，补偿inception引起的降维。

中间多图

3.3. Scaling of the Residuals

如果filter数超过1000，网络died在训练早期，这是无法阻止的。

我们发现缩小残差似乎可以稳定训练过程缩放因子通常选择了0.1到0.3之间，
它似乎不会损害最终的准确性， 但它有助于稳定训练过程。

5. Results

残差连接的引入显著提高了inception结构的训练速度，最新的型号的性能比之前所有的网络都要好，仅仅是由于型号尺寸的增加。

实现

Inception-ResNet-v2