ResNet详解

ResNet(残差网络)

残差网络与传统网络相比较,其加入了y=x层(恒等映射层),其主要作用是使得网络随着深度的增加而不退化,并且还具有着较好的收敛效果

残差网络的基本组成

基本组成
其中:这里写图片描述 表示的是残差, 这里写图片描述表示的是映射输出(网络的输出)。所以可以得到网络的输出 这里写图片描述,由于其基本组成中间有两个隐层,所以可以得到网络的输出为:这里写图片描述 ,其中 这里写图片描述只为了保证两个矩阵的维度相同而进行的线性变换。
本网络的灵感来源于VGG网络,但是与VGG网络相比较具有更少的滤波器,以及更低的复杂度,VGG网络的FLOP(每秒峰值的速度:floating-point operations second)为19.6 billion FLOP,普通34层网络为3.6 billion FLOP,本文所提出的34层残差网络为3.6 billion FLOP。
由下图可以看出,在普通网络(图2中间)的基础上,我们对其引入了快捷连接(shortcut connection),即将普通网络转换为残差网络。当输入与输出具有相同维度时(即之间用实线连接),可以直接使用快捷连接。当维度增加时(即之间用虚线连接),我们考虑两个方面,(1)直接执行恒等映射,并且使用零填充的方式来保持参数的不变;(2)用式 这里写图片描述来进行计算,并且在卷积之后激活函数之前对其进行批量归一化处理。
这里写图片描述
左边是VGG-19网络,中间是由VGG衍生的普通的34网络,右边是本文所提到的ResNet-34网络。

参考文献

http://www.cs.princeton.edu/courses/archive/spring16/cos598F/msra-deepnet.pdf
《Deep Residual Learning for Image Recognition》

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值