Inception-ResNet and the Impact of Residual Connections on Learning
简述:
在这篇文章中,提出了两点创新,1是将inception architecture与residual connection结合起来是否有很好的效果.2是Inception本身是否可以通过使它更深入、更广泛来提高效率,提出Inception-v4 and Inception- ResNet两种模型网络框架。inception 已经被证明可以在相对较低的计算成本下获得非常好的性能,residual网络和Incption-v3的性能相似,都是对系统整体性能的极大提升。本文还证明了residual的加入会极大的改进inception网络,同时本文还提出了一些streamlined architectures(精简架构)为了residual and non-residual Inception networks。
模型:
对于Inception+Res网络,我们使用比初始Inception更简易的Inception网络,但为了每个补偿由Inception block 引起的维度减少,Inception后面都有一个滤波扩展层(1×1个未激活的卷积),用于在添加之前按比例放大滤波器组的维数,以匹配输入的深度。
第一个“inception- resnet -v1”大致相当于inception -v3的计算成本,而“inception- resnet -v2”则相当于inception-v4网络的计算成本。
下图为inception-v4网络,总体框架及框架细节:
具体细节如下,分别为Inception-A block、Inception-B block、Inception-C block、35×35 ~ 17×17 reduction module、17×17 ~8×8 grid-reduction module: