Inception module的演化

概述

Inception module中突出强调了卷积单元特征提取能力的强化对最后的分类效果有着很大的帮助，但是GoogLenet中的Inception module面临一个问题就是卷积模块太多，造成的计算量很大，特别是对于5x5这种大的卷积核，GoogLenet不得不采用1x1的卷积核先进行降维，然后再进行5x5的卷积。
但是，除了使用1x1卷积核进行降维，其实还有别的方式降低大的卷积核的计算量，这就是论文《Rethinking the Inception Architecture for Computer Vision》里提到的对卷积核进行Factorizing。

Factorizing Convolutions with Large Filter Size

先上一个直观的图，

对于一个5x5卷积核卷积的区域，可以先使用一个3x3对5x5的区域进行卷积，然后再使用一个3x3核对刚刚的卷积结果再进行一次卷积，最终也是得出一个数据，在效果上和5x5卷积是等效的。这样就减少了一次卷积计算的次数，原来5x5卷积需要做25次乘加，现在两次3x3只需要做9+9=18次乘加，如果卷积核更大，减小的计算量也更大。

---

是基于什么考虑才做这种分解呢
我们可以看到分解导致卷积核的参数变小，这就说明原来5x5卷积核其实是有部分参数冗余的，即我们其实并不需要25个参数提取特征，而可能需要18个参数就可以了，这时因为由于提取区域像素都是紧邻的，像素