骨干网络之Inception系列论文学习

v1

0.摘要

之前简单的看了一下incepiton，在看完resnext后，感觉有必要再看一看本文
改善深度神经网络性能的最直接方法是增加其大小。 这包括增加网络的深度和网络宽度，这样会带来一些缺点：较大的规模通常意味着大量的参数，这使得扩大后的网络更容易过度拟合。增加网络大小的另一个缺点是计算资源的使用急剧增加
优点：1.GoogLeNet采用了模块化的结构（Inception结构），方便增添和修改；
2.网络最后采用了average pooling（平均池化）来代替全连接层，该想法来自NIN（Network in Network），事实证明这样可以将准确率提高0.6%。但是如果是针对的小目标检测，就不能使用均值池化，会损失太多信息。
3.为了避免梯度消失，网络额外增加了2个辅助的softmax用于向前传导梯度（辅助分类器）辅助分类器是将中间某一层的输出用作分类，并按一个较小的权重（0.3），加到最终分类结果中，这样相当于做了模型融合，同时给网络增加了反向传播的梯度信号；

1.Inception结构

每一条的输入是一样的，同时使用不同的卷积核大小，3*3，5*5，1*1，这些不同卷积核的提取不同的特征，增加了特征的多样性，但是这样带来一个问题就是参数量增加太大，为了解决这个问题，就引入了1*1的卷积降维。

2.v1网络结构

“#3x3 reduce”，“#5x5 reduce”表示在3x3，5x5卷积操作之前使用了1x1卷积的数量。

2.1v1强化版

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift，
在inception v1的基础上加了batch normalization

v2-v3

0.摘要

在VGG中，使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度、网络的非线性，在一定程度上提升了神经网络的效果。小的卷积核比不上一次大卷积核的卷积操作对全局信息的提取能力，物体检测和分类领域貌似还是小卷积核比较好用。
因此在inception v2中也使用了2个3x3卷积核来代替5*5卷积核，到最后还是用卷积分解来实现更小的参数规模
他这篇论文的写作手法优点类似yolov3，就是最后把一些优秀的模块放进就是新的版本
作者对网络设计的感悟：
（1）不要过早压缩和降维，以免损失信息表达
（2）可以在卷积之前先用1*1的卷积核实现降维，因为几个通道的信息可能有互相关性，降维后的信息损失不多。
（3）注意网络宽度和深度的平衡。

1.全新的inception结构

1.1分解卷积（非对称卷积）

作者甚至还想把矩阵运算转换成，矩阵跟向量的运算。有分组卷积在矩阵上分组那味了，带来了更大的参数压缩，随之而来也使卷积运算中特征联系更不紧密，所以作者在实验后只在网络的后曾使用该分解（feature map的尺寸在12-20之间），而且最后使用的也是1*7配7*1卷积

这个是作者预想的inception，最后作者实现的inception结构如下：

1.2另一种减小特征图的大小

如果直接做池化的话，会直接丢失掉一般的特征，然后再传给inception，效果会不好但计算量比较小。而如果现在，先进行inception，再进行pooling就可以使得效果好一点。因此作者提出了一种新的结构：

串联进行cov和pooling，之后再concat。在有些inception中作者使用了这种结构

2.网络结构

3.实验结果

使用144剪裁数据增强后的v3效果最好

xception

已经有mobilenet的雏形了。和他的区别就是：先进行1*1卷积，再进行3*3的卷积,

作者也实验过在depthwise和pointwise之间不需要需要加入非线性映射relu，并且表明没有任何非线性会导致更快的收敛和更好的最终性能。作者的理解是非线性是有用的，但是可以由于较浅层的信息浓度太高，激活时候信息丢失太多了。