ResNet

1网络结构:
这里写图片描述
ResNet将网络往深里设计的思想发挥到了极致,据说有一千多层的,在ResNet网络中,深刻体会到没有最深,只有更深!那么问题来了,Resnet是怎么做到在这么极深的网络下,训练成功的?因为我们知道,随着网络层数的增加,需要训练的网络参数将不断增加,训练强度将大大提升,对于这种上千层的网络,面临的已经不仅仅只有过拟合的问题了,还有Degradation的问题。
从Resnet的网络结构图中,我们可以看到一种异于常规网络的结构,即shortcut,叫残差网络,如下图所示。
这里写图片描述
这种结构网络的设计的目的就要解决网络层次比较深的时候无法训练的问题。从图中可以直观的看出,旁边专门开个通道使得输入可以直达输出,所以最后的优化目标由原来的拟合输出H(x)变成输出和输入的差F(x)=H(x)-x,即残差。其中H(X)是某一层原始的的期望映射输出,x是输入。这种残差网络单元有两层残差学习单元,还有三层残差学习单元。此外ResNet所有层中的卷积核都是3*3或者1*1的小卷积核。
2 成绩:
2015年冠军,错误率3.57%左右。实现极深网络的训练,在深度学习中是一个里程碑式的突破。
3 新技术点:
残差学习模块的提出。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值