深度神经网络中Inception-ResNet模块介绍

之前在https://blog.csdn.net/fengbingchun/article/details/113482036 介绍了Inception，在https://blog.csdn.net/fengbingchun/article/details/114167581 介绍了ResNet，这里介绍下深度神经网络中的Inception-ResNet模块。

介绍Inception-ResNet的论文名为：《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》，论文：https://arxiv.org/pdf/1602.07261.pdf

Inception-ResNet系列主要有Inception-ResNet-v1和Inception-ResNet-v2。

每个Inception模块的输出执行Concat操作，而ResNet的每个残差块的输出执行Eltwise操作。

残差连接(residual connection)能够显著加速Inception网络的训练。Inception-ResNet-v1的计算量与Inception-v3大致相同，Inception-ResNet-v2的计算量与Inception-v4大致相同。

下图是Inception-ResNet架构图，来自于论文截图：Steam模块为深度神经网络在执行到Inception模块之前执行的最初一组操作，在Inception-ResNet-v1中Steam模块的最终输出为35*35*256，在Inception-ResNet-v2中Steam模块的最终输出为35*35*384。

上图中Inception-ResNet-v1和Inception-ResNet-v2各模块详细结构如下所示：为了便于v1和v2相同模块作对比，这里将两类型相同模块放在了一起，其中左图为Inception-ResNet-v1，右图为Inception-ResNet-v2。下图中所有未标有”V”的卷积都用相同的填充(same-padded)，表示它们的输出尺寸与输入尺寸正好匹配。标有”V”的卷积采用valid padded，即不填充，padding=0。

Stem模块结构，论文截图如下所示：

Inception-resnet-A模块结构，论文截图如下所示：

Reduction-A模块结构，论文截图如下所示：Inception-ResNet-v1与Inception-ResNet-v2相同

Inception-resnet-B模块结构，论文截图如下所示：

Reduction-B模块结构，论文截图如下所示：

Inception-resnet-C模块结构，论文截图如下所示：

GitHub：https://github.com/fengbingchun/NN_Test