[paper] Inception V4

Inception V4

论文名称：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
论文地址：https://arxiv.org/abs/1602.07261

摘要

Inception结构在减少计算量上一直能达到很好的效果，在2015年的ILSVRC上，Residual Connection也达到了很好的效果。因此，我们思考是否可以将这两者结合起来达到更好的效果。

介绍

一方面，我们考虑将最新的两个思想（Inception结构和ResNet结构）结合在一起。ResNet的作者认为在很深的网络中使用ResNet是十分必要的，而Inception结构又倾向于很深，所以我们很自然的想把Inception中的串联用Residual connection替代。这可以让Inception获得Residual connection的优点而又保持它本身的计算效率。

另一方面，我们考虑是否可以通过将网络变宽和变深提升最终效果。Inception V3带着很多之前阶段的包袱。最重要的技术限制是使用DistBelief做分布式训练需要对模型进行划分。目前，可以通过tensorflow解决这个问题。

相关工作

卷积神经网络经过NIN，VGGNet和GoogLeNet之后得到了长足的发展。

何凯明提出了Residual Connection，对其优点给出了令人信服的理论和实际的证据。他认为在较深的网络中使用Residual Connection是必要的。

在我们的实验中，我们认为在较深的网络中不使用Residual Connection进行训练不是特别困难。但是，Residual Connection的使用可以加快训练速度。

结构选择

Reduction-A 具体参数选择

Inception V4结构

总体结构：

Stem结构：