深度学习研究理解8:Understanding Deep Architectures using a Recursive Convolutional Network

本文是纽约大学,David Eigen和Jason Rolfe等13年撰写的论文;和他们的上一篇通过deconvnet网络可视化来理解深度卷积网络不同的是,本文通过循环卷积网络来探究网络深度,参数个数,特征个数等网络结构对于网络性能的影响。

摘要:层数,特征个数,filter尺寸,间隔数,pooling方式,pooling尺寸,连接方式,归一化,参数个数等都是影响卷积网络性能的因素;本文通过循环卷积网络来探究层数,特征个数和参数这个3个因素的独立影响;通过实验发现层数和参数个数影响较大,特征个数对于结果影响较小。建议在设计网络事更多的应该关注深度和参数个数。

一:新型递归网络—递归卷积网络

图中红色的部分为第一个特征提取阶段卷积和Pooling构成;为了构成循环结构,从第一层提取以后的高层就剔除pooling结构,只是单纯的卷积结构,这样可以保证卷积循环结构(因为如果包含pooling结构,在子采样后每层的特征维数就会改变)。

循环卷积网络,图中a是正常的卷积网络,层间权值没有关系;图b,当正常的卷积网络,在绑定每层的权值后,由于高层之间的权值,特征个数,特征维数都相同,就可以看做是一个循环网络。就可以简化表示为图c的样式。

循环卷积网络可以梳理分开影响卷积网络结果的各个因素;正常卷积网络中,增加层数和特征个数都会增加网络总的参数个数;而循环网络增加层数,由于权值绑定,不会增加总的参数个数;但是增加特征个数,还是会增加参数个数。

二:CIFAR-10和SVNH分类网络结构及参数设置

Vm代表第一层卷积,有m个filter;每个特征图对应一个bias;应用ReLU非线性函数;

Z1采用4*4的max-pooling;

Z(m,l),循环层采用的结构。

Yk为softmax分类器,特征输入前经过归一化。

Minibatch为128,动量系数为0.9;初始学习率为0.001;权值初始值服从高斯分布CIFAR~(0,0.1);SVNH~(0,0,001)。

结构上本文并没有使用fc-layer。

三,实验

3.1 性能评价

作者在每层特征个数M=32,64,128,256;除去第一层以外的层数L:1,2,4,8,16。本文能够训练这么深的网络,是由于高层(第2层以上)的所有权值初始值相等:最初复制第一层激活值给高层,高层的梯度复制给地层。但是当网络深度比较深时,循环和非循环卷积网络还是受到了影响;这个影响可能是因为0均值的高斯分布的初始值引起的(这个有点不明白了,感觉还是因为层数较深的时候误差误差传递问题,虽然ReLU可以缓解梯度弥散问题;由于是0均值的高斯分布,层数较深的时候ReLU的max操作,可能导致信息的大量丢失;底层信息传递困难,同时高层的误差传递也会费劲;这种问题在GoogLeNet中也出现了,GoogLeNet的做法是在中间的两个层加入softmax分类器,通过和高层梯度误差加权的方式共同调整网络主结构的权值)。

在不同层数和特征数情况下,循环和非循环网络(untied and tied)分类性能比较。在非循环网络中,网络的参数有层数和特征数共同决定,循环网络中参数仅仅由特征个数决定。图中等高线代表此线上具有相同的参数个数。

1循环VS非循环:两张图的对比中可以看出,循环神经网络和普通的非循环网络都得到了很好结果,说明本文设计的循环结构是有效的。

2总体上随着参数的增多,分类效果越好;在固定参数的情况下增加网络深度比增加特征个数更重要;但是太深的网络结果变差。

3让人有些意外的是,最好的结果出现在2层网络下,每层具有512个特征图的网络结构中。这个网络的总的参数量上面是最多的,若本文继续增加网络深度可能会有更好的结果。

3.2 特征个数,参数,层数的影响

1.固定M和P,变化L;使用tied网络

2 固定M和L,变化P;在相同M和L下,对比tied和untied模式;因为从tied转换到untied模式时,参数增加

3,固定P和L,变化M。当从untied转换到tied模式时,在L和P固定的情况下,tied特征数比untied多。

Case1:变换L

Tied网络:固定P和M

Untied网络:固定P,比较变换M和L是结果


1,随着层数的增加,结果逐渐提升,但是在layer=8时,测试集结果有些上升,主要是因为过拟合引起的,因为此时训练集的结果还在下降。在没有引入额外参数的情况下,只是增加网络的深度;网络的分类性能就有了提高;这可能是由于增加层数的同时,引入了更多的非线性函数,从而使网络能够学习到更复杂的函数。

2,图2中在参数固定的情况下,变换不同的M和L组合;从实验结果可以看出;在固定的参数复杂度下,网络越深越好(也不要太深,容易过拟合)。

Case2:变换P

在相同的M和L下,对比tied和untied模式;因为从tied转换到untied模式时,参数增加。下图中x代表tied模式下分类结果,y代表untied模式下分类结果。


1从图中可以看出,点一般分布在y=x直线下方,说明untied模式比tied模式要好,毕竟untied模式下参数差不多是两倍的数量

2两个模型收敛到相同的测试分类结果,这是因为在大的M和L下,两个网络都有足够的灵活性去获得好的结果。这个也再一次说明这种循环网络有很好的性能,值得挖掘一下;感觉也可以说明卷积结构本身的特征提取能力。

Case 3:M

在固定L下,和相等的P下,比较tied和untied模式不同的特征个数。Eg:untied模式L=3,M=71,参数共计195473个参数;而tied模型在L=3,M=108,参数共计195058。在L和P相同的条件下,tied的每层参数较多。但是由于tied总的连接数较多,多以tied在此时计算更耗时。

通过实验得出,在L和P固定的条件下,tied和untied模式分类结果差不多,说明特征个数不太重要;对着P的增多,两种模式结果都变好,说明参数个数很重要。

在tied和untied网络结构中,在不造成过拟合的情况下,增加参数总量分类结果会一直变好;但是既可以通过增加L(变深)增加参数,也可以增加特征数(变宽)来增加宽度。通过实验对比,在不考虑参数总量预算的情况下,增加深度和宽度都可以提升效果;但是在规定参数预算情况下,深度比宽度更好。这个结论和后面要介绍的何恺明的论文中观点一致。

四,讨论

本文使用了一个特殊的tied模式(循环卷积网络)来探究卷积网络的一些性质;本文没有使用pooling结构,dropout等技术情况下,tied网络获得了和untied网络相似的分类结果,但是tied网络的机理还是很不清楚,这个值得探讨。

一些困惑和理解

本文通过循环卷积网络探究了卷积网络的特征,得出了深度,参数比特征个数重要的结论。研读过程中已知对于计算时间有疑问,如果说参数与网络的表达能力有关的话,很好的“放置”网络结构,可使固定参数发挥最大性能;但是在实际的计算中,人们可能更关注计算时间,而计算时间与连接数目成正比,感觉tied模式比untied模式计算时间要长;如果说考虑时间的话,在相同的连接数据情况下,感觉还是untied模型要好。“在Case 2:变换P”实验中,在P相同情况下,从tied模式转换到untied模式,虽然参数增加,网络计算时间不会相差很多,而且untied结果比tied结果要好。

在case3中,相同L和P条件下,tied拥有更多的M个数,在计算过程中tied模式计算时间更长,untied计算时间则更少;两者的结果却相差不大。说明untied网络比tied网络要好。

在case1中在固定p和M的情况下,tied模式增加深度,虽然P没有变化,但是计算时间明显随着L的增加而增加,如果考虑计算时间情况下,感觉这种比较并不公平;如果能够才固定时间内比较网络结果,感觉这个更具指导意义(下一篇MSRA何恺明研究院的论文探究这就这个问题)。

©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值