对ResNet的理解

原创 2016年11月25日 16:14:42

ResNet要解决的问题

深度学习网络的深度对最后的分类和识别的效果有着很大的影响,所以正常想法就是能把网络设计的越深越好,但是事实上却不是这样,常规的网络的堆叠(plain network)在网络很深的时候,效果却越来越差了。
这里写图片描述
这里其中的原因之一即是网络越深,梯度消失的现象就越来越明显,网络的训练效果也不会很好。
但是现在浅层的网络(shallower network)又无法明显提升网络的识别效果了,所以现在要解决的问题就是怎样在加深网络的情况下又解决梯度消失的问题。

ResNet的解决方案

ResNet引入了残差网络结构(residual network),通过残差网络,可以把网络层弄的很深,据说现在达到了1000多层,最终的网络分类的效果也是非常好,残差网络的基本结构如下图所示
这里写图片描述
通过在输出个输入之间引入一个shortcut connection,而不是简单的堆叠网络,这样可以解决网络由于很深出现梯度消失的问题,从而可可以把网络做的很深,ResNet其中一个网络结构如下图所示
这里写图片描述
之前一直在探究残差网络提出的由来,作者是基于先前的什么知识才提出残差网络的,咋一看感觉残差网络提出的很精巧,其实就是很精巧,但是现在感觉非要从残差的角度进行解读感觉不太好理解,真正起作用的应该就是shortcut连接了,这才是网络的关键之处。

对ResNet的解读

基本的残差网络其实可以从另一个角度来理解,这是从另一篇论文里看到的,如下图所示:
这里写图片描述
残差网络单元其中可以分解成右图的形式,从图中可以看出,残差网络其实是由多种路径组合的一个网络,直白了说,残差网络其实是很多并行子网络的组合,整个残差网络其实相当于一个多人投票系统(Ensembling)。下面来说明为什么可以这样理解

删除网络的一部分

如果把残差网络理解成一个Ensambling系统,那么网络的一部分就相当于少一些投票的人,如果只是删除一个基本的残差单元,对最后的分类结果应该影响很小;而最后的分类错误率应该适合删除的残差单元的个数成正比的,论文里的结论也印证了这个猜测。
下图是比较VGG和ResNet分别删除一层网络的分类错误率变化
这里写图片描述
下图是ResNet分类错误率和删除的基本残差网络单元个数的关系
这里写图片描述

ResNet的真面目

ResNet的确可以做到很深,但是从上面的介绍可以看出,网络很深的路径其实很少,大部分的网络路径其实都集中在中间的路径长度上,如下图所示:
这里写图片描述
从这可以看出其实ResNet是由大多数中度网络和一小部分浅度网络和深度网络组成的,说明虽然表面上ResNet网络很深,但是其实起实际作用的网络层数并没有很深,我们能来进一步阐述这个问题,我们知道网络越深,梯度就越小,如下图所示
这里写图片描述
而通过各个路径长度上包含的网络数乘以每个路径的梯度值,我们可以得到ResNet真正起作用的网络是什么样的,如下图所示
这里写图片描述
我们可以看出大多数的梯度其实都集中在中间的路径上,论文里称为effective path。
从这可以看出其实ResNet只是表面上看起来很深,事实上网络却很浅。
所示ResNet真的解决了深度网络的梯度消失的问题了吗?似乎没有,ResNet其实就是一个多人投票系统。

版权声明:本文为博主原创文章,未经博主允许不得转载。

残差resnet网络原理详解

resnet在2015名声大噪,而且影响了2016年DL在学术界和工业界的发展方向。它对每层的输入做一个reference, 学习形成残差函数, 而不是学习一些没有reference的函数。这种残差函...
  • mao_feng
  • mao_feng
  • 2016年10月04日 16:47
  • 44887

ResNet论文笔记

ResNet——MSRA何凯明团队的Residual Networks,在2015年ImageNet上大放异彩,在ImageNet的classification、detection、localizat...
  • wspba
  • wspba
  • 2017年02月20日 21:15
  • 21886

Resnet

再上一偏博文中我们说到越复杂的问题需要越深层的神经网络拟合,但是越深层的神经网络越难训练,原因可能是过拟合以及损失函数的局部最优解过多(鞍点过多?导致经过相同的epoch更深的网络的trainerro...
  • u010789558
  • u010789558
  • 2016年10月26日 11:59
  • 12949

Caffe在Cifar10上复现ResNet

Caffe在Cifar10上复现ResNetResNet在2015年的ImageNet竞赛上的识别率达到了非常高的水平,这里我将使用Caffe在Cifar10上复现论文4.2节的Cifar实验。 Re...
  • a_1937
  • a_1937
  • 2016年05月26日 17:14
  • 23173

ResNet

非原创,ResNet中文翻译:http://www.leiphone.com/news/201606/BhcC5LV32tdot6DD.html
  • BigFish_yukang
  • BigFish_yukang
  • 2017年02月16日 18:25
  • 615

我读ResNet

0. 背景论文地址:Deep Residual Learning for Image Recognition 代码地址:GitHub 这篇论文是 ILSVRC 2015 年冠军,由 MSRA 何凯...
  • xuanwu_yan
  • xuanwu_yan
  • 2016年09月10日 16:10
  • 2254

神经网络之ResNet模型的实现(Python+TensorFlow)

用python+tensorflow实现经典神经网络ResNet,增加网络,留作笔记。
  • index20001
  • index20001
  • 2017年08月12日 09:55
  • 1757

TensorFlow实战:Chapter-6(CNN-4-经典卷积神经网络(ResNet))

ResNetResNet简介ResNet(Residual Neural Network)由微软研究院的何凯明大神等4人提出,ResNet通过使用Residual Unit成功训练152层神经网络,在...
  • u011974639
  • u011974639
  • 2017年08月06日 00:45
  • 2148

resnet 论文

问题:深度的神经网络很难训练 解决方法:我们通过残差学习网络,训练更深的网络,实验显示深度残差网络很容易收敛并且通过加深网络更容易提升准确率。   问题由来: 网络的深度对于计算机视觉任务非常...
  • fffupeng
  • fffupeng
  • 2017年05月18日 00:08
  • 1343

系统学习深度学习(二十二)--CNN经典模型总结

转自:http://www.open-open.com/lib/view/open1473213789568.html  略有删改。 LeNet5 LeNet5 诞生于 1994 年,是最早的卷积神...
  • App_12062011
  • App_12062011
  • 2017年03月17日 13:08
  • 5255
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:对ResNet的理解
举报原因:
原因补充:

(最多只允许输入30个字)