关闭

DenseNet

标签: 深度学习
1062人阅读 评论(1) 收藏 举报
分类:

2017CVPR Best Paper《Densely Connected Convolutional Networks》

Github项目主页: https://github.com/liuzhuang13/DenseNet

知乎上的一些讨论: 如何评价Densely Connected Convolutional Networks?

DenseNet的高效版本,解决训练占用显存大的问题: 《Memory-Efficient Implementation of DenseNets》

DenseNet属于对ResNet扩展的一系列工作中比较有代表性的一个。

1. 方法介绍

这里写图片描述

DenseNet整个网络采用了模块化设计,其中一个典型网络模块结构如下:

如上图,该模块共包含4层(BN+ReLU+Conv)。每一层都有一个“短路”或者“跳接”与其后的每一层相连。因此,4层实际上总共产生4+3+2+1=10个连接。

上述结构带来的优点主要有:

  • 加强了信息前传,避免了梯度的反传消失
  • 加强了对特征的多级综合高效利用
  • 一定程度上可以使用更少的参数数量来达到相同的效果

2. DenseNet vs. ResNet

如果在Netscope这一网络结构可视化平台将DenseNet和ResNet分别进行可视化,你会发现二者的网络结构 “看起来几乎一样”

这时候你有可能会有疑问:

  • 为啥DenseNet和ResNet这么像?
  • DenseNet那么多“跳接”去哪了?

解决上面的疑问,请看下面DenseNet和ResNet的对比:

(1)DenseNet采用Concat层来整合不同来源的特征,而ResNet则采用Eltwise层的加法操作。

DenseNet大部分的优势都是Concat层带来的:

  • Concat层只是特征拼接,不对特征做任何改变。因此,只需相邻层的一个“短接”,后续所有层都可以拥有到该层的“通路”。 这些通路意味着更佳的信息前传与梯度反传
  • Concat层会使得feature map “变厚”,因此即使我们使用更少的卷积参数,feature map也不会因过小而产生信息瓶颈。这也是DenseNet一定程度上参数更少的原因。

(2)DenseNet采用transition层(BN+1x1卷积+2x2AvePooling)来实现下采样,而ResNet则多采用MaxPooling以及卷积的stride。

(3)DenseNet由于在一个模块中要使用Concat,因此feature map的大小必须保持不变。 而ResNet则会存在下面的这种下采样的特殊情况:

1
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

从LeNet-5到DenseNet

本文作者山隹木又,本文首发于作者的知乎专栏《サイ桑的炼丹炉》, AI研习社获其授权发布。 卷积、池化等操作不再赘述,总结一下从LeNet到DenseNet的发展历程。 图1. ...
  • Y0W1as5eg37urFdS
  • Y0W1as5eg37urFdS
  • 2017-11-19 00:00
  • 624

ResNet && DenseNet(原理篇)

这篇博客讲现在很流行的两种网络模型,ResNet和DenseNet,其实可以把DenseNet看做是ResNet的特例 文章地址: [1]Deep Residual Learning for Im...
  • Gavin__Zhou
  • Gavin__Zhou
  • 2016-12-03 16:29
  • 18024

DenseNet算法详解

论文:Densely Connected Convolutional Networks 论文链接:https://arxiv.org/pdf/1608.06993.pdf 代码的github链接:...
  • u014380165
  • u014380165
  • 2017-07-15 08:24
  • 12406

系统学习深度学习(二十)--ResNet,DenseNet,以及残差家族

转自:http://blog.csdn.net/cv_family_z/article/details/50328175 CVPR2016 https://github.com/KaimingHe...
  • App_12062011
  • App_12062011
  • 2017-03-15 13:19
  • 8442

使用内存精简版caffe运行densenet

有关densenet的相关资料除了查看论文外还可参考博客1以及博客2,本文主要关注densenet的使用。 目前有两个版本的densenet网络配置文件分别对应两个版本的caffe: 论文所带的caf...
  • m0_37477175
  • m0_37477175
  • 2018-01-03 09:42
  • 78

DenseNet算法详解

论文:Densely Connected Convolutional Networks 论文链接:https://arxiv.org/pdf/1608.06993.pdf 代码的github链接:...
  • u014380165
  • u014380165
  • 2017-07-15 08:24
  • 12406

CVPR 2017最佳论文解读:密集连接卷积网络DenseNet

CVPR 2017最佳论文解读:密集连接卷积网络
  • zchang81
  • zchang81
  • 2017-07-26 17:49
  • 2222

ResNet,DenseNet,以及残差家族

转自:http://blog.csdn.NET/cv_family_z/article/details/50328175CVPR2016 https://github.com/KaimingHe/d...
  • xihang_alpha
  • xihang_alpha
  • 2017-04-16 10:35
  • 1543

【深度学习】入门理解ResNet和他的小姨子们(二)---DenseNet

文章名称:《Densely Connected Convolutional Networks》 论文链接:https://arxiv.org/abs/1608.06993 代码链接:https:/...
  • shwan_ma
  • shwan_ma
  • 2017-10-06 16:50
  • 1733

DenseNet算法详解

转自:http://blog.csdn.net/u014380165/article/details/75142664 论文:Densely Connected Convolutional ...
  • haima1998
  • haima1998
  • 2017-12-18 17:04
  • 28
    个人资料
    • 访问:599631次
    • 积分:6493
    • 等级:
    • 排名:第4330名
    • 原创:133篇
    • 转载:11篇
    • 译文:1篇
    • 评论:519条