图像分类系列:
1、Lenet详解
3、VGG网络结构
4、NIN网络结构
5、Googlenet inception v1 结构详解、inception v2 和 inception v3
参考
https://www.cnblogs.com/Allen-rg/p/5833919.html
https://my.oschina.net/u/876354/blog/1637819(建议先看下这篇文章,来龙去脉都讲的很清楚)
在设计深度网络时,如果一味的依靠增加网络尺寸(宽度、深度)来提升网络性能,会带来许多问题,比如参数增多、计算量增大、梯度消失等问题。为了解决深度网络带来的这些问题,研究者提出了inception结构来增加维度降低参数和计算量、以及在网络中间层增加辅助分类器的方法解决梯度消失的问题。
一、网络结构
二、技术点
1、inception 模块
先用1x1卷积核对原尺寸将维度,然后再用不同尺寸的卷积核(多尺度卷积)对featuremap卷积
1x1卷积核:得到想要的featuremap维度(降维),减少参数量,增加非线性。如果直接用不同尺寸卷积核卷积,会大大增加计算量
多尺度卷积:提取得到不同尺度上的信息,使用不同尺寸的卷积核提取不同尺度上的信息,最后将不同尺度上的信息聚合。
2、辅助分类器
用于网络训练阶段,为了避免梯度消失,网络额外增加了2个辅助的softmax用于向前传导梯度(辅助分类器)。辅助分类器是将中间某一层的输出用作分类,并按一个较小的权重(0.3)加到最终分类结果中,这样相当于做了模型融合,同时增加了误差反向传播的梯度信号,也提供了额外的正则化,对于整个网络的训练很有裨益。而在实际测试的时候,这两个额外的softmax会被去掉。