Going Deeper with Convolutions -GoogLeNet

GoogleNet到目前为止一共四个版本,论文下载地址:

【v1】Going Deeper with Convolutions

【v2】Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

【v3】Rethinking the Inception Architecture for Computer Vision

【v4】Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

  • CNN的发展

先引入一张CNN结构演化图: 

 

2012年AlexNet提出以来一直到GoogleNet提出之前,人们进行的工作就是对网络的深度(网络的层数)和宽度进行调参,但是纯粹增大网络有一下缺点:

1)参数太多,网络的计算量越大,网络的计算速度变慢,对硬件的要求变大。

2)网络层数越多就是筛选越符合目标函数的权值,容易过拟合

3)神经网络采用随机梯度下降的方式进行优化和拟合loss函数,网络越深梯度越容易消失(梯度爆炸是指:在BP过程中是通过对loss求偏导进行参数的更改,例如\frac{\partial f}{\partial x}=f1 如果f1大于1那么多层次的偏导时就会产生梯度爆炸。反之小于1多层结果就会很小,就是梯度消失)

Inception的tich提出解决了上述的难题

  • Inception  V1模型

Inception v1的网络,将1x1,3x3,5x5的conv和3x3的pooling,堆叠在一起,一方面增加了网络的width,另一方面增加了网络对尺度的适应性; 


 上图是论文中提出的最原始的版本,所有的卷积核都在上一层的所有输出上来做,那5×5的卷积核所需的计算量就太大了,造成了特征图厚度很大。为了避免这一现象提出的inception具有如下结构,在3x3前,5x5前,max pooling后分别加上了1x1的卷积核起到了降低特征图厚度的作用,也就是Inception v1的网络结构。 

下面解释一下改进:

假设previous layer的大小为28*28*192,则,

a的weights大小,1*1*192*64+3*3*192*128+5*5*192*32=387072

a的输出featuremap大小,28*28*64+28*28*128+28*28*32+28*28*192=28*28*416

b的weights大小,1*1*192*64+(1*1*192*96+3*3*96*128)+(1*1*192*16+5*5*16*32)+1*1*192*32=163328

b的输出feature map大小,28*28*64+28*28*128+28*28*32+28*28*32=28*28*256

写到这里,不禁感慨天才般的1*1 conv,从上面的数据可以看出一方面减少了weights,另一方面降低了dimension

Inception V2 模型

Inception v2的网络,代表作为加入了BN(Batch Normalization)层,并且使用2个3*3替代1个5*5卷积的改进版GoogleNet。

Inception v2的亮点总结如下:

(1)加入了BN层,减少了InternalCovariate Shift(内部neuron的数据分布发生变化),使每一层的输出都规范化到一个N(0, 1)的高斯,从而增加了模型的鲁棒性,可以以更大的学习速率训练,收敛更快,初始化操作更加随意,同时作为一种正则化技术,可以减少dropout层的使用。

(2)用2个连续的3*3 conv替代inception模块中的5*5,从而实现网络深度的增加,网络整体深度增加了9层,缺点就是增加了25%的weights和30%的计算消耗。

 

Inception V3  模型

Inception v3网络,主要在v2的基础上,提出了卷积分解(Factorization),代表作是Inceptionv3版本的GoogleNet。

Inception v3的亮点总结如下:

(1) 将7*7分解成两个一维的卷积(1*7,7*1),3*3也是一样(1*3,3*1),这样的好处,既可以加速计算(多余的计算能力可以用来加深网络),又可以将1个conv拆成2个conv,使得网络深度进一步增加,增加了网络的非线性,更加精细设计了35*35/17*17/8*8的模块。

(2)增加网络宽度,网络输入从224*224变为了299*299。

 

Inception V4模型

Inception v4主要利用残差连接(Residual Connection)来改进v3结构,代表作为,Inception-ResNet-v1,Inception-ResNet-v2,Inception-v4

resnet中的残差结构如下,这个结构设计的就很巧妙,简直神来之笔,使用原始层和经过2个卷基层的feature map做Eltwise。Inception-ResNet的改进就是使用上文的Inception module来替换resnet shortcut中的conv+1*1 conv。

 

                                                                   

(1)将Inception模块和ResidualConnection结合,提出了Inception-ResNet-v1,Inception-ResNet-v2,使得训练加速收敛更快,精度更高。

(2)设计了更深的Inception-v4版本,效果和Inception-ResNet-v2相当。

(3)网络输入大小和V3一样,还是299*299

 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值