Inception V3

一、论文核心

1.引入Inception V3 module

2.提出CNN网络的四大基本原则：

• 原则一：避免过度降维或者收缩特征bottleneck，特别是在网络浅层，feature map的长宽大小应该随网络加深缓缓减小。

• 原则二：特征越多，收敛越快。相互独立的特征越多，输入的信息分解得越彻底，也印证了赫布原理的fire together, wire together。

• 原则三：在空间聚合之前，也就是使用类似3*3,5*5这种大卷积核之前，可以使用1*1卷积降维，这个时候信息不会损失（或者损失很少）基于一个假设，如果输出用于空间聚合上下文，则相邻单元之间的强相关性导致在降维过程中的信息损失要少得多。

• 原则四：均衡网络的宽度和深度，两者同时提升，既可提高性能，又能提高效率。

二、Inception V3 module

Inception V3在Inception V1的基础上首先将5x5卷积分解为2个3x3卷积，可以在保证感受野大小不变的情况下减少参数量和计算量，同时引入额外的非线性。如下图所示：

然后将3x3卷积分解为1x3和3x1两个不对称卷积（空间可分离卷积，nxn的卷积核替换成 1xn 和 nx1，在12-20维度表现好，大维度表现不好。）。如下图所示：

Inception V3 module还有一种变体形式，可以理解为在最后的输出层之前对卷积进行宽度上的分解。如下图所示：

三、网络结构

四、参考内容

Inception V3:Rethinking the Inception Architecture for Computer Vision

深度学习卷积神经网络——经典网络GoogLeNet(Inception V3)网络的搭建与实现_安装inceptionv3-CSDN博客