Inception V1

1、目的

    增加网络的深度和宽度

    挑战：1）bigger size -> more parameter -> overfitting    2）计算资源需求高

    方案：用密集成分来近似最优的局部稀疏结构，FC层 -> 稀疏连接的结构

2、原理

    1）Hebbian principle：臃肿的稀疏结构 -> 高效的密集结构，neurons that fire together, wire together

    2）多尺度

3、结构设计

    1）局部稀疏结构 -> 密集成分

    2）浅层特征所需感受野更小，深层特征所需感受野更大；不同卷积核的并联可以实现多尺度特征融合

    3）为了便于对齐，inception采用1 x 1，3 x 3，5 x 5卷积核（padding=0, 1, 2即可）

    4）pooling操作在目前SOTA方法中必不可少，因此并联pooling操作

    5）网络越深，特征越抽象，空间聚集度越低，相应的3 x 3 和5 x 5的比例也要增加

    6）低维特征embedding也可以包含较大的图像patch信息。1 x 1 conv：降维（网络参数量）+引入额外非线性

4、应用

    GoogLeNet， 22层

    1）max-pooling（stride=2）用于减小feature map大小，inception不改变feature map的大小

    2）仅在较高层使用Inception模块（节省计算量）

    3）用avg pooling代替fc层，仅在最后使用fc，可以有效提升实验结果

    4）考虑到浅层网络也有足够的判别能力，为了便于梯度回传（防止梯度消失），training阶段在中间层加入了额外监督；inference阶段舍弃