Xiang神经网络总结（八）

• GoogleNet
  
  
  
  引入上述Inception结构
  去掉连个全连接层，使得参数减少

串联丢失信息问题：
VGG是 3×3的小卷积核，会只注意细粒度的东西。

比如一条粗边，你用小卷积核可能只关注了边上的东西，认为是四个小边，造成了信息的丢失.
inception结构

分别关注1×1 3×3 5×5 以及局部最强信息。感受野逐步提升，不会像只有3×3那样不精细了。
1×1卷积核的意义：可以改变深度。可以实现降维，灵活改变depth。

这里Filter层个数为下边几个层个数加和。
Naive Inception有两个非常严重的问题：首先，所有卷积层直接和前一层输入的数据对接，所以卷积层中的计算量会很大；其次，在这个单元中使用的最大池化层保留了输入数据的特征图的深度，所以在最后进行合并时，总的输出的特征图的深度只会增加，这样增加了该单元之后的网络结构的计算量。于是人们就要想办法减少参数量来减少计算量

加这几个1×1卷积核的作用：协调深度，降低计算复杂度。


经过这几个1×1卷积核操作下，计算量显著降低了。
最后一个全连接层，是为了大家做finetune（微调）。

非线性增强：卷积之后会进行Relu操作，增强非线性性。



辅助分类器

根据实验数据，发现神经网络的中间层也具有很强的识别能力，为了利用中间层抽象的特征，在某些中间层中添加含有多层的分类器。GoogLeNet中共增加了两个辅助的softmax分支，作用有两点，一是为了避免梯度消失，用于向前传导梯度。反向传播时如果有一层求导为0，链式求导结果则为0。二是将中间某一层输出用作分类，起到模型融合作用。最后的loss=loss_2 + 0.3 * loss_1 + 0.3 * loss_0。实际测试时，这两个辅助softmax分支会被去掉。