DenseNet

标签: 深度学习
1660人阅读 评论(1) 收藏 举报
分类:

2017CVPR Best Paper《Densely Connected Convolutional Networks》

Github项目主页: https://github.com/liuzhuang13/DenseNet

知乎上的一些讨论: 如何评价Densely Connected Convolutional Networks?

DenseNet的高效版本,解决训练占用显存大的问题: 《Memory-Efficient Implementation of DenseNets》

DenseNet属于对ResNet扩展的一系列工作中比较有代表性的一个。

1. 方法介绍

这里写图片描述

DenseNet整个网络采用了模块化设计,其中一个典型网络模块结构如下:

如上图,该模块共包含4层(BN+ReLU+Conv)。每一层都有一个“短路”或者“跳接”与其后的每一层相连。因此,4层实际上总共产生4+3+2+1=10个连接。

上述结构带来的优点主要有:

  • 加强了信息前传,避免了梯度的反传消失
  • 加强了对特征的多级综合高效利用
  • 一定程度上可以使用更少的参数数量来达到相同的效果

2. DenseNet vs. ResNet

如果在Netscope这一网络结构可视化平台将DenseNet和ResNet分别进行可视化,你会发现二者的网络结构 “看起来几乎一样”

这时候你有可能会有疑问:

  • 为啥DenseNet和ResNet这么像?
  • DenseNet那么多“跳接”去哪了?

解决上面的疑问,请看下面DenseNet和ResNet的对比:

(1)DenseNet采用Concat层来整合不同来源的特征,而ResNet则采用Eltwise层的加法操作。

DenseNet大部分的优势都是Concat层带来的:

  • Concat层只是特征拼接,不对特征做任何改变。因此,只需相邻层的一个“短接”,后续所有层都可以拥有到该层的“通路”。 这些通路意味着更佳的信息前传与梯度反传
  • Concat层会使得feature map “变厚”,因此即使我们使用更少的卷积参数,feature map也不会因过小而产生信息瓶颈。这也是DenseNet一定程度上参数更少的原因。

(2)DenseNet采用transition层(BN+1x1卷积+2x2AvePooling)来实现下采样,而ResNet则多采用MaxPooling以及卷积的stride。

(3)DenseNet由于在一个模块中要使用Concat,因此feature map的大小必须保持不变。 而ResNet则会存在下面的这种下采样的特殊情况:

查看评论

DenseNet的使用

去年提出的DenseNet获得今年CVPR2017最佳论文 在github上已经发布了代码,在此贴一下链接:https://github.com/liuzhuang13/DenseNetCaffe ...
  • mdjxy63
  • mdjxy63
  • 2017-07-30 19:02:54
  • 1410

DenseNet 网络

DenseNet 是一种具有密集连接的卷积神经网络。在该网络中,任何两层之间都有直接的连接,也就是说,网络每一层的输入都是前面所有层输出的并集,而该层所学习的特征图也会被直接传给其后面所有层作为输入。...
  • YWF1993
  • YWF1993
  • 2017-09-16 10:25:26
  • 1018

基于Theano的深度学习(Deep Learning)框架Keras学习随笔-08-规则化(规格化)

基于Theano的深度学习(Deep Learning)框架Keras学习随笔-08-规则化(规格化) -- 通过前几篇的介绍,网络已经选择好了优化器、目标函数、模型以及激活函数。并且给权值选择了初始...
  • niuwei22007
  • niuwei22007
  • 2015-10-18 15:35:03
  • 10547

Keras中几个重要函数用法

一般模块都需导入包: from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, ...
  • u012969412
  • u012969412
  • 2017-04-28 09:13:41
  • 9553

DenseNet算法详解

论文:Densely Connected Convolutional Networks 论文链接:https://arxiv.org/pdf/1608.06993.pdf 代码的github链接:...
  • u014380165
  • u014380165
  • 2017-07-15 08:24:15
  • 22837

DenseNet模型

《Densely Connected Convolutional Networks》阅读笔记 代码地址:https://github.com/liuzhuang13/DenseNet 首先看一张图...
  • u012938704
  • u012938704
  • 2016-12-05 18:55:27
  • 28845

DenseNet 简介

1.首先对深度学习做一个简单的回顾 2.介绍DenseNet 1.1 DNN回顾 如下图所示是一个基本DNN结构,通过forward传播和backword传播来训练一个模型 包含input层,...
  • Bryan__
  • Bryan__
  • 2017-08-17 19:00:11
  • 4720

论文笔记:Densely Connected Convolutional Networks(DenseNet模型详解)

[转载自] CVPR 2017上,清华大学的Zhuang Liu、康奈尔大学的Gao Huang和Kilian Q.Weinberger,以及Facebook研究员Laurens van der M...
  • lyy354500
  • lyy354500
  • 2017-09-28 11:58:49
  • 1347

DenseNet:更接近于真实神经网络的跨层连接

一. 提出背景       论文:Densely Connected Convolutional Networks 【点击下载】       Caffe代码:【Github】       受 High...
  • linolzhang
  • linolzhang
  • 2017-08-16 22:11:08
  • 3079

我读DenseNet

背景之前听说过DenseNet,再次被提起是因为七月初上交大主办的SSIST 2017,Yann Lecun的一页PPT,将其地位放置到如此之高,查了一下是CVPR 2017的一篇Oral,于是下定决...
  • xuanwu_yan
  • xuanwu_yan
  • 2017-07-12 23:54:25
  • 2350
    个人资料
    持之以恒
    等级:
    访问量: 77万+
    积分: 7563
    排名: 3607