GoogLeNet

设计初衷

1.多卷积核增加特征多样性（专知课程的说法）
2.基本思想是inception网络不需要人为决定使用哪个过滤器，或是否需要池化，而是由网络自行确定这些参数(NG说法)

V1 inception

分析：
1.因为经过pooling层，channel个数是不会减少了，所以随着网络更深，channel数会很多，导致计算复杂度过高
2.因为经过多个卷积核，计算量肯定比单个类型卷积核计算量要大

V2 inception

解决方法：插入1×1卷积进行降维
主要体现在两个方面
1：通过使用1×1 卷积是的经过pooling层之后的channel数量减少

2. 使用1×1卷积减少计算量

为什么1×1卷积可以减少计算量？

下图这个28×28×32输出的计算成本。具有32个filter，每个filter是5×5×192的大小
输出是28×28×32，对于输出的每个数字都需要执行5×5×192次乘法运算！。所以最后计算量如下图所示，需要1.2亿

如果我么使用1×1卷积
先将信道数量减少，然后使用5×5卷积输出28×28×32
对于28×28×16这一层的计算量是28×28×16×1×1×192=240万，对于28×28×32这一层的计算量是28×28×32 ×5×5×16=1000万，所以总共计算量是1240万，对比上一张图片，计算量成了原来的十分之一

V3 inception

V3进一步对v2的参数数量进行降低，使用两个3×3代替5×5卷积，如下图右半部分所示，一个5×5输入经过5×5卷积后变成1×1，同样的效果，5×5经过两次3×3的卷积也得到1×1，两者是等效的

作用：
1.降低参数量，如上图5×5卷积参数量是5×5+1=26，而3×3卷积是（3×3+1）×2=20计算量，每个卷积核减少参数量6
2.增加非线性激活函数，一个5×5卷积只经过一个ReLu非线性函数，3×3经过两个，增加非线性激活函数使网络产生更多独立特征（disentangled feature），表征能力更强，训练更快