【深度学习】Inception的前世今生（四）--Inception V4，Inception-ResNet

Inception的系列文章：
1. Inception v1 -《Going deeper with convolutions》
https://arxiv.org/abs/1409.4842
2. Inception v2 - 《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
3. Inception v3 - 《Rethinking the Inception Architecture for Computer Vision》
https://arxiv.org/abs/1512.00567
本文论文: 《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》
https://arxiv.org/abs/1602.07261

google做事一般都是比较靠谱的，会把一个东西翻来覆去的研究透。本文主要描述Inception的第四个变种和Inception-ResNet.
这篇文章可以看做是由图写的文章，都是图。。

Inception v1在结构上还是比较粗糙的，
Inception v2在v1的基础上,引入了batch_normalization.
Inception v3则又引入了 addition factorization。

Inception的好处很清楚，构造类似于人脑的稀疏连接，降低网络的计算量和参数量。
2015的ResNet的残差连接residual connections 可以有效的训练深层次的网络。

那么是否可以将两者结合呢？
Google将其结合后的Inception-ResNet又突破了ImageNet上的top5 error，达到了3.08%的新高。

本文动机：

本文主要围绕着一个中心问题，也就是把Inception结构和residual connection结合起来会不会带来额外的benefit
因此本文将介绍两个结构：1）Inception + Residual connection 2) Inception V4
原因起于在2015的He 的ResNet中，作者认为residual connection可以有效的训练very deep。为了使inception更加deeper，作者尝试在Inception结构上加入Residual connection, 以便于训练的更加deep。
同时，作者也考虑了如果只用Inception结构，能否训练的更加deeper，因此提出了Inception V4

相关工作：

He KaiMing认为residual connection在训练very deep的卷积模型时是十分必要的。但本文作者却发现在训练一个competitive very deep networks without residual connection也不是特别有困难。然而residual connection在加速训练中却起着重要的作用。

Inception V4：

整体结构：

下面是对上面整体结构的拆分：

Stem:

Inception A

Inception B

Inception C

两个缩小尺度的reduction

reductionA

reductionB

Inception ResNet：

本文设计了两种Inception ResNet, 分别是Inception-ResNet-v1,其的计算量类似于Inceptionv3。第二个则是Inception-ResNet-v2，其计算量等同于上述的Inceptionv4.

其中细节还是翻论文吧。这篇文章也没讲述这么设计Inception的原因，反正都是结构图。

个人觉得这完全是不断的试错试出来的吧。完全是深度调参，玄学。
总感觉没有ResNet的变体给我的惊艳感。

【深度学习】Inception的前世今生（一）–GoogLeNet
http://blog.csdn.net/shwan_ma/article/details/78933055
【深度学习】Inception的前世今生（三）–Inception V3
http://blog.csdn.net/shwan_ma/article/details/78326897