ResNet论文--精简快速阅读其中的奥秘

转载:
Deep Residual Learning for Image Recognition(译)

如果有侵权,请作者提出,我删除。下面是从原作者小时候贼聪明的译文中,精简便于我复习。谢谢作者。

1. 问题提出

当深层网络能够收敛时,一个退化问题又出现了:随着网络深度的增加,准确率先上升然后达到饱和(不足为奇),再持续增加深度则会导致准确率下降,而迅速退化。意外的是,这种退化并不是由过拟合造成的,因为不光在测试集上误差增大,训练集本身误差也会增大。并且在一个合理的深度模型中增加更多的层却导致了更高的错误率。

2. 问题解决方法

一种深度残差学习框架来解决这个退化问题。原始输入信息直接传输到后面的层中。

  • ResNet残差学习原理

若将输入设为X,将某一有参网络层设为H,那么以X为输入的此层的输出将为H(X)。一般的CNN网络如Alexnet/VGG等会直接通过训练学习出参数函数H的表达,从而直接学习X -> H(X)。

而残差学习则是致力于使用多个有参网络层来学习输入、输出之间的参差即H(X) - X即学习X -> (H(X) - X) + X。其中X这一部分为直接的identity mapping,而H(X) - X则为有参网络层要学习的输入输出间残差。
【备注:这部分来自简书 经典分类CNN模型系列其四:Resnet
在这里插入图片描述

3. ResNet框架结构

在VGG网络结构基础上,先构造了34层plain网络,便于和ResNet网络进行对比。而plain网络和ResNet网络从结构上看,也仅仅只差了“一部分输入直接传递到输出”。而ResNet网络则是plain网络的残差版本。参看下图中:
左-- VGG-19网络作为参考;中-- 34层的plain网络; 右-- 34层resnet网络

在这里插入图片描述

4. ResNet方法结果验证

ImageNet测试集上,ResNet组合模型(ensemble)的top-5错误率仅为3.57%。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值