keras瞎搞系列-从LeNet到SENet——卷积神经网络回顾

本文转自:https://zhuanlan.zhihu.com/p/33845247

keras瞎搞系列-从LeNet到SENet——卷积神经网络回顾

从1998年经典的LeNet,到2012年历史性的AlexNet,之后深度学习进入了蓬勃发展阶段,百花齐放,大放异彩,出现了各式各样的不同网络,包括LeNet、AlexNet、ZFNet、VGG、NiN、Inception v1到v4、Inception-ResNet、ResNet、WRN、FractalNet、Stochastic Depth、DenseNet、ResNeXt、Xception、SENet、SqueezeNet、NASNet、MobileNet v1和v2、ShuffleNet等等。

它们各有特点,也互相借鉴,在很多任务上不断取得突破。本文从最基本的分类任务的角度,从无人问津到ImageNet上超越人类,回顾了卷积神经网络的发展历史。

经典网络

经典网络包括LeNet、AlexNet以及VGG等。

LeNet:1998,Gradient based learning applied to document recognition

用于手写数字识别,可以看到,卷积神经网络的基本框架已经有了,卷积、激活、池化和全连接,这几个基本组件都完备了。


但是,在1998年以后,深度学习并没有太多的突破。一直沉寂到2012年,AlexNet横空出世,将深度学习重新带入大家视线,并开启了深度学习的黄金时代。

为什么是2012年?一是数据,之前并没有大规模的数据进行充分的训练,应用于更广泛的任务,现在有ImageNet;二是计算,之前的硬件条件限制了,无法进行大规模的训练,而现在有了性能强大的GPU的加成;三就是AlexNet本身很优秀,给后来的网络奠定了一个很好的基础,让大家突然发现,原来还可以这样玩!

AlexNet:2012,ImageNet Classification with Deep Convolutional Neural Networks

ImageNet Top5错误率:16.4%,而两年前非深度学习的方法的最好错误率是28.2%

AlexNet总体结构和LeNet相似,但是有极大改进:

  • 由五层卷积和三层全连接组成,输入图像为三通道224x224大小,网络规模远大于LeNet
  • 使用了ReLU激活函数
  • 使用了Dropout,可以作为正则项防止过拟合,提升模型鲁棒性
  • 一些很好的训练技巧,包括数据增广、学习率策略、weight decay等

AlexNet使用3GB显存的GTX 580显卡(好古老),一块显卡不够用,所以如上图所示将模型分为两部分放到了两块显卡上并行运算。虽然这仅仅是单块显卡资源有限时的做法,但是后面的许多网络都进一步发扬了这种对卷积进行分组的思想(虽然动机不同)。

VGG:2014,Very deep convolutional networks for large-scale image recognition

在AlexNet之后,另一个提升很大的网络是VGG,ImageNet上Top5错误率减小到7.3%。

主要改进就是:深,更深!网络层数由AlexNet的8层增至16和19层,更深的网络意味着更强大的网络能力,也意味着需要更强大的计算力,还好,硬件发展也很快,显卡运算力也在快速增长,助推深度学习的快速发展。

同时只使用3x3的卷积核,因为两个3x3的感受野相当于一个5x5,同时参数量更少,之后的网络都基本遵循这个范式。


GoogLeNet和ResNet

一层一层卷积堆叠,VGG是集大成者,但是之后很难再进一步,继续简单增加网络层数会遇到问题,更深的网络更难训练同时参数量也在不断增长。

Inception v1(GoogLeNet):2015,Going deeper with convolutions

ImageNet Top5错误率6.7%

GoogLeNet则从另一个维度来增加网络能力,每单元有许多层并行计算,让网络更宽了,基本单元如下:

网络总体结构如下所示,包含多个上面的Inception模块,并添加了两个辅助分类分支补充梯度更好训练:


通过网络的水平排布,可以用较浅的网络得到很好的模型能力,并进行多特征融合,同时更容易训练,另外,为了减少计算量,使用了1x1卷积来先对特征通道进行降维。堆叠Inception模块而来就叫Inception网络,而GoogLeNet就是一个精心设计的性能良好的Inception网络(Inception v1)的实例,即GoogLeNet是Inception v1网络的一种。

但是,网络太深无法很好训练的问题还是没有解决,直到ResNet提出了residual connection。

ResNet:2016,Deep residual learning for image recognition

ImageNet Top5错误率3.57%

ResNet通过引入shortcut直连来解决这个问题:


通过引入直连,原来需要学习完全的重构映射,从头创建输出,并不容易,而引入直连之后,只需要学习输出和原来输入的差值即可,绝对量变相对量,容易很多,所以叫残差网络。并且,通过引入残差,identity恒等映射,相当于一个梯度高速通道,可以容易地训练避免梯度消失的问题,所以可以得到很深的网络,网络层数由GoogLeNet的22层到了ResNet的152层。

ResNet-34的网络结构如下所示:


如果说LeNet、AlexNet、VGG奠定了经典神经网络的基础,Inception和ResNet则展示了神经网络的新范式,在这两个范式的基础上,发展创新并相互借鉴,有了Inception流派的Inception v2到v4、Inception-ResNet v1和v2,以及ResNet流派的ResNeXt、DenseNet和Xception等。

Inception流派

Inception流派,核心就是Inception模块,出现了各种变种,包括Inception v2到v4以及Inception-ResNet v1和v2等。

Inception v2(BN-Inception):2015,Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

ImageNet Top5错误率:4.8%

(PS:按照Inception系列四篇论文中的第三篇论文的划分,类似于Inception v3的一个网络称之为v2,但是按照第四篇论文的划分,BN-Inception称之为v2,这里采用第四篇论文的划分,Inception v2指BN-Inception)

主要是增加了Batch Normalization,之前神经网络很依赖于良好的初始化,并且网络太深会梯度弥散,这两个问题都是因为网络中间的激活的分布不理想,那既然我们想要一个理想的分布,就手动把它转换为理想的分布好了。所以在每一层输出后面加上了归一化变换,减去每个训练batch的每个特征的均值再除以标准差,得到0均值1标准差的输出分布,这样,就可以很好地训练了,梯度也不容易弥散。

Inception v3:2015,Rethinking the Inception Architecture for Computer Vision

ImageNet Top5错误率:3.5%

卷积进一步分解,5x5用两个3x3卷积替换,7x7用三个3x3卷积替换,一个3x3卷积核可以进一步用1x3的卷积核和3x1的卷积核组合来替换,进一步减少计算量:


总体地网络结构如下所示:


Inception v4、Inception-ResNet v1和v2:2016,Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

ImageNet Top5错误率:3.08%

Inception v1到v3,可以看到很明显的人工设计的痕迹,不同卷积核的和网络结构的安排,很特殊,并不知道为什么要这样安排,实验确定的。作者称由于以前受硬件软件的限制,有太多的历史包袱,而现在有了TensorFlow(论文里怒打一波广告),网络可以按照理想的设计来实现了,于是很规范地设计了一个Inception v4网络,类似于Inception v3,但是没有很多特殊的不一致的设计。

同时,ResNet的成功,也说明了residual connection的有效性,所以为Inception模块引入了residual connection,得到Inception-ResNet v1和Inception-ResNet-v2,前者规模较小,和Inception v3相当,后者规模较大,和Inception v4规模相当。residual结构地Inception模块如下所示:


ResNet流派

ResNet流派是另一个主流分支,包括WRN、DenseNet、DPN、ResNeXt以及Xception等。

DenseNet:2016,Densely Connected Convolutional Networks

DenseNet将residual connection发挥到极致,每一层输出都直连到后面的所有层,可以更好地复用特征,每一层都比较浅,融合了来自前面所有层的所有特征,并且很容易训练。缺点是显存占用更大并且反向传播计算更复杂一点。网络结构如下所示:

ResNeXt:2017,Aggregated Residual Transformations for Deep Neural Networks

ImageNet Top5错误率:3.03%

Inception借鉴ResNet得到Inception-ResNet,而ResNet借鉴Inception得到了ResNeXt,对于每一个ResNet的每一个基本单元,横向扩展,将输入分为几组,使用相同的变换,进行卷积:

上面左边是ResNet,右边是ResNeXt,通过在通道上对输入进行拆分,进行分组卷积,每个卷积核不用扩展到所有通道,可以得到更多更轻量的卷积核,并且,卷积核之间减少了耦合,用相同的计算量,可以得到更高的精度。

Xception:2016,Xception: Deep Learning with Depthwise Separable Convolutions

Xception则把分组卷积的思想发挥到了极致,每一个通道单独分为一组。利用了depthwise separable convolution,如下图所示,J个输入通道,每个通道用一个单独的空间卷积核卷积(比如3x3),J个卷积核得到J个输出通道,然后再用K个卷积核对上一步得到的J个输出通道进行1x1的普通卷积,得到K个最终的输出:


Xception基于一个假设,水平和竖直方向的空间卷积(比如第一步的3x3卷积)和深度方向的通道卷积(比如第二步的1x1卷积)可以完全独立进行,这样减少了不同操作间的耦合,可以有效利用计算力。实验证明,相同的计算量,精度有明显的提升。(不过现在对于分组卷积的底层支持还不够好,实际速度并没有理论计算的那么好,需要底层库进行更好的支持)

移动端

除了主流的ResNet流派和Inception流派不断追求更高的准确率,移动端的应用也是一大方向,比如SqueezeNet、MobileNet v1和v2、ShuffleNet等。

MobileNet v1:2017,MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

和Xception类似,通过depthwise separable convolution来减少计算量,设计了一个适用于移动端的,取得性能和效率间很好平衡的一个网络。

MobileNet v2:2018,Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation

使用了ReLU6(即对ReLU输出的结果进行Clip,使得输出的最大值为6)适配移动设备更好量化,然后提出了一种新的Inverted Residuals and Linear Bottleneck,即ResNet基本结构中间使用了depthwise卷积,一个通道一个卷积核,减少计算量,中间的通道数比两头还多(ResNet像漏斗,MobileNet v2像柳叶),并且全去掉了最后输出的ReLU。具体的基本结构如下图右侧所示:


ShuffleNet:2017,ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

Xception已经做得很好了,但是1x1那里太耗时间了成了计算的瓶颈,那就分组啦较少计算量,但是分组了,组和组之间信息隔离了,那就重排shuffle一下,强行让信息流动。具体的网络结构如上图左侧所示。channel shuffle就是对通道进行重排,将每组卷积的输出分配到下一次卷积的不同的组去:


上图的a是没有shuffle,效果很差,b和c则是等价的有shuffle的。ShuffleNet可以达到和AlexNet相同的精度,并且实际速度快13倍(理论上快18倍)。

SENet

除了上面介绍的久经考验的网络以外,还有各种各样的新的网络,比如NASNet、SENet、MSDNet等等。其中,SENet的Squeeze-Excitation模块在普通的卷积(单层卷积或复合卷积)由输入X得到输出U以后,对U的每个通道进行全局平均池化得到通道描述子(Squeeze),再利用两层FC得到每个通道的权重值,对U按通道进行重新加权得到最终输出(Excitation),这个过程称之为feature recalibration,通过引入attention重新加权,可以得到抑制无效特征,提升有效特征的权重,并很容易地和现有网络结合,提升现有网络性能,而计算量不会增加太多。


SE module是一个很通用的模块,可以很好地和现有网络集成,提升现有效果。

总结

最后,一个ImageNet上的Top5准确率总结表如下图,可以看到,ImageNet上的分类错误率逐年降低,并且已经低于人类的错误率(5.1%)。

有这么多网络,具体的使用中到底选哪个呢?个人的使用参考建议是:

  • 普通网络:推荐ResNet-50或Xception或Inception v3
  • 大网络高精度:推荐ResNeXt-101(64x4d)或Inception-ResNet v2或DPN
  • 移动端小网络:推荐ShuffleNet或MobileNet v2

还可以额外添加SENet模块到现有网络,基本都能进一步提高精度,计算量略有增加。另外也可以尝试一下NASNet。

强烈推荐该作者的知乎专栏:https://zhuanlan.zhihu.com/xfanplus















  • 0
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值