Deep Residual Learning 论文解析

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yaoxingfu72/article/details/50764087

Deep Residual Network(DRN) 是微软亚研 何凯明组在15年10月份挂在arXiv 上的文章。所用的网络在ILSVRC&COCO 2015比赛中取得第一名的成绩(识别,分类,分割)。所用的152层网络要比VGG-16深8倍,但网络的计算复杂度(参数数量)却要比VGG少。

一. 思想

众所周知,网络的性能与深度息息相关。如果在一个浅层网络A上叠加几层layer形成网络B,如果这些新添加的layer是Identity mapping(权值矩阵全是单位矩阵?),那么网络B性能至少不会比A差。但是实际实验结果却显示网络越深,性能越差,所以作者猜测solver 对于学习单位映射比较困难。既然学习单位映射比较麻烦,那干脆直接给它加上一个shortcut,直接给这个模块输出叠加上输入。实际情况中,单位映射x并不是最优解H(x),最优解在单位映射附近,这个最优解与单位映射之间的差就叫做residual F(x)。形成下面的网络。

学习H(x)-x要比直接学习H(x)要简单多(这个有点类似于做数据处理,如网络的输入图像要减图像均值一样),所以网络训练也比较简单。


二. 与 highway network区别

1. DRN 的shortcut一直是x,没有参数,学习比较简单。而且一直传递x,每个模块只学习残差F(x), 网络稳定而且容易学习。

2. DRN证明了随着网络深度的增加,性能变好。而Highway Network 并没有证明。

 注:实际运用中,DRN中的shortcut有些是带有参数的,因为有的模块有降维操作,输入输出的维度不一样。


三. 网络的训练


用bn,不用dropout。其余的参数设置以及初始化与 hinton 2012在imagenet上的训练类似。

四. 与 inception v4的关系

近期搞googlenet那帮人在arxiv挂载了inceptionV4的文章,文章将DRN与googlenet结合了一下,在imagenet上的分类精读达到了3.08% top 5 error。

具体参考http://t.cn/RGXlXQS网络结构如下:



没有更多推荐了,返回首页