Inception-V4和Inception-Resnet论文阅读和代码解析

目录：

论文阅读

代码解析

小结

 

论文阅读

论文地址：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

此论文主要是作者尝试将inception与residual结合，而提出了inception-resnet-v1和inception-resnet-v2网络，并且为了比较inception与resnet结合后是否真的对网络性能有提升而提出了一个inception-v4网络进行对比。试验证明residual能够加速inception网络的训练，并且精度上有少量的提升。

1.介绍

这篇论文的主要思想就是将residual和inception结构相结合，以获得residual带来的好处。

在直接集成这两个思想之前，作者也研究了能否将inception变得更深更宽使其更高效，因为这个原因作者设计了新版本的inception，叫做inception-v4。Inception-v4有更多简化的模型，并且比Inception-v3有更多的inception block。

在这个报告里面，作者会用两个纯inception网络inception-v3和inception-v4和混合的inception-resnet网络进行比较。另外还测试了更大更宽的inception-resnet网络，发现他们的表现都非常相似。

2.相关工作

残差网络的作者认为训练很深的网络时使用残差链接是非常中要的，但是本文的作者说很深的网络即使不使用残差连接，训练网络也并不难，但是使用了残差网络训练速度会大大加快。另外作者还提到了inception的第一代第二代和第三代之间的改进。

3.纯Inception block

Inception的结构是很容易调节的，就是说改变一些fitler最终并不会影响结果。但是作者为了优化训练速度小心的调整了每一层的大小。现在因为tensorflow的优化功能，作者认为不需要再像以前一样根据经验小心的调整每一层，现在可以更加标准化的设置每一层的参数。而提出了Inception-V4，网络结构如下：

具体每个block对应的细节很容易从论文中找到，这里面就不一一贴出了。可以看到很明显的，网络可以很清晰的划分为一个一个block，而且Inception的block都是重复使用，因为它的input和output尺寸是一样的。Reduction主要是用来降低feature map的尺寸。另外每个block中没有标记v的都表示same padding。

4.Residual Inception Block

作者尝试了很多种residual inception block的结构，但是这里只会列出来两种。一种是Inception-Resnet-V1，它的计算量和Inception-V3相当。另一种是Inception-Resnet-V2，它的计算量和新提出来的Inception-V4相当。结构如下：

上图显示了Inception-ResNet-v1和Inception-ResNet-v2两种Inception-Resnet结构。他们总体结构一致，里面的block不同。

对有residual和没有residual的网络在技术上有个小差别。对于Inception-Residual的模块，在做相加的那一层不做batch normalization，这是作者从计算消耗上的考虑。

5.缩小残差

作者发现如果filter的个数超过1000个，残差网络会变得不稳定，网络会在训练的早期就‘死掉’，也就意味着在几万次迭代之后，avg_pool之前的最后几层网络参数全是0。解决方案是要么减小learning rate，要么对这些层增加额外的batch normalization.

作者又发现如果将残差部分缩放后再跟需要相加的层相加，会使网络在训练过程中更稳定。因此作者选择了一些缩放因子在0.1到0.3之间，用这个缩放因子去缩放残差网络，然后再做加法，如下图