ResNet及其改进

Deep Residual Learning for Image Recognition (ResNet_v1)

Identity Mappings in Deep Residual Networks (ResNet_v2)

 

ResNet一系列网络模型及其在ImageNet上的训练代码,我在TF-slim提供的代码的基础上进行了一些修改

https://github.com/Lithogenous/TF-ImageNet

 

        ResNet是Kaiming et al.在2015年提出的一个模型,并且在ImageNet COCO等比赛中获得了不错的成绩,在第一版本ResNet的基础之上,又有一些改进,于是有了后面两篇ResNet_v2 和 ResNext

        ResNet结构的核心在于残差单元,根据相关工作,该结构受到了 VLAD 及 highway networks 等思想的启发。作者发现,随着网络深度的增加,其识别的准确度开始变得饱和,因此提出了残差网络的想法来解决该问题。

 

        假设基础的期望映射是H(x),我们将堆叠的非线性层拟合另一个映射F(x):=H(x)−x,所以原始的映射被重写为F(x) + x,所以我们可以得到网络的基础结构,该结构依然可以使用具有反向传播的SGD进行训练:

Figure 2

 

 

Figure 5

        对于堆叠的函数F有不同的形式,作者对于浅层的网络(18,34层)采用了左边的结构,而对于较深的结构则采用了右边的结构,值得注意的是,在V1中,每个bottleneck的网络结构是Conv -> BN -> ReLu。

具体不同层数网络的结构如下:

Table 1

如上所示,按照上表对bottleneck堆叠可以得到最终的网络。

 

 

ResNet_v2与v1的最大区别就是v2的bn和relu是在卷积之后使用的,区别如下图所示:

 

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值