ResNet理解

1、提出shortcut connection 结构

问题:网络的深度是使网络性能更优化的一个关键因素,但是随着网络深度的加深,梯度消失/包传问题十分明显,网络甚至出现退化。

办法:通过引入一个深度残差学习框架,解决这个退化问题。

H(x):用H(x)来表示最优解映射,即:x(input)----非线性卷积堆叠-------->H(x)(output).

存在另外一种映射, F(x) = H(x) - x,则=>  H(x) = F(x) + x.    其中F(x) + x 可以通过在前馈网路中做一个"快捷连接"来实现。

"快捷连接" 跳过一个或多个层,自身快捷连接既不会添加额外的参数也不会增加计算复杂度。整个网络依然可以用SGD+ 反向传播来做到端到端的训练。如图:

 如上图:F(x) 和x是按照channel维度相加的, 相加都是逐元素相加。

1)F(x) 和x 的channel维度相同, y = F(x) +x,  F(x) = W2* σ(W1 * x) 其中σ代表非线性函数ReLU.

2)F(x) 和x 的channel维度不相同, y = F(x) + Wx,F(x) = W2* σ(W1 * x) 其中σ代表非线性函数ReLU, W为卷积操作,用来调整x的channel

2、提出了bottleneck(深度瓶颈结构)

 bottleneck结构的目的是:为了降低参数的数目。

 实际中考虑计算成本,对残差做了计算优化,即:将两个3x3的卷积层替换为 1x1, 3x3, 1x1三个卷积层,新结构中,中间3x3卷积层首先在1x1卷积层下降维,减少计算量,然后在另一个1x1的卷积层做了还原,既保持了精度又减少了计算量。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值