Googlenet inception v2 和 inception v3

图像分类系列：

0、BP前反馈神经网络原理详解

1、Lenet详解

2、Alexnet详解

3、VGG网络结构

4、NIN网络结构

5、Googlenet inception v1 结构详解、inception v2 和 inception v3

 

inception v2 和inception v3是对inception v1在结构上的改进优化。作者认为必须按照一套合理的规则来优化Inception结构，具体如下：

对inceptionv1优化的几个原则：

inceptionv2 v3采用的优化方法

其中inception v1加上方法1，2，3，4即成了inception v2，inception v2加上方法5即成了inceptionv3。

下面对这五种方法一一解释：

1、使用并行结构来优化pooling，减少信息丢失过多。

对pooling输入层进行两次操作。一次跟之前一样，只做pooling操作。另一次对输入层进行1x1卷积操作，输出和pooling结果一样格式的结果。见下图。

2和3、5x5卷积核分成两个3x3卷积核，3x3分成一个1x3和一个3x1卷积核串联。可以减小计算量。

4、使用Label Smoothing来对标签进行正则化，

    原始图片类别（标签）是one-hot0，1这种脉冲式的标签，容易导致过拟合。分类问题的损失函数是交叉熵，单类情况下，如果某一类概率接近1，其他的概率接近0，那么会导致交叉熵取log后变得很大很大，从而导致网络过分拟合。
现在采用公式new_labels = (1.0 - label_smoothing) * one_hot_labels + label_smoothing / num_classes平滑标签。
Szegedy在网络实现的时候，令 label_smoothing = 0.1，num_classes = 1000。Label smooth提高了网络精度0.2%

5、Batch Normalization批标准化

这个比较重要，需要单独拿出来。Batch Normalization极大提升了训练速度，收敛过程大大加快；还能增加分类效果，③另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等。

 

参考https://www.jianshu.com/p/4e5b3e652639，https://www.cnblogs.com/mimandehuanxue/p/8994678.html