Inception-v3:"Rethinking the Inception Architecture for Computer Vision"

Googlenet的延伸，通过对Inception module进行卷积分解展开网络，在ILSVRC 2012上,4个模型集成及多次裁切，top-1位为17.3%，top-5为3.5%。

GoogleNet的优势：从参数数量来看，GoogleNet参数为500万个，AlexNet参数个数为GoogleNet的12倍，VGGNet参数又是AlexNet的3倍。因此在内存或计算资源受限时，GoogleNet是比较好的选择。

Inception结构的更改：简单的放大结构，会导致计算增益消失。例如直接double滤波器组的数目会导致计算和参数4倍的增加。因此，作者给出了几个放大网络需要遵守的准则。

网络设计准则
1.避免表示瓶颈，即特征图大小应缓慢下降；
2.高维表示可以用网络代替；
3.可以在低维空间集成空间关系；
4.平衡网络的宽度和深度。

大尺寸滤波器卷积分解
GoogleNet的精度增益主要来自维度降低，这可以认为是卷积分解的特例。考虑到网络临近的激活高度相关，因此集成之前可以降维。Inception模块是全卷积的，每个权值对应一个乘法运算，进行卷积分解后可以减少参数数目进行快速训练，这样就可以增加滤波器组的大小提升精度。

1.大卷积分解为小卷积
$5\times 5$的卷积可以使用两层$3\times 3$卷积代替，如图4为原始Inception模块，图5为替换后的模块，节约的计算时间可以用来增加滤波器数目。

2.分解为非对称卷积
$3\times 3$的卷积使用$3\times 1$卷积和$1\times 3$卷积代替，如下图所示，这种结构在前几层效果不太好，但对