论文阅读笔记 | (CVPR 2017 Oral) Densely Connected Convolutional Networks

论文下载：Densely Connected Convolutional Networks

Abstract

最近的工作表明，如果卷积网络包含靠近输入的层和靠近输出的层之间的较短连接，则卷积网络可以更深，更准确，更有效。 文章介绍了Dense Convolutional Network（DenseNet），它以前馈的方式将每一层连接到每一层。而具有L层的传统卷积网络具有L个连接 - 每层与其后续层之间的连接 - DenseNet具有个直接连接。 对于每层，所有前面的层的feature-maps用作输入，其自身的feature-maps用作所有后续层的输入。

DenseNets有几个引人注目的优点：

1. 可以缓解vanishing-gradient问题
2. 加强了feature的传递
3. 更有效地利用了feature
4. 一定程度上减少了参数数量

1. Introduction

卷积神经网络（CNN）已成为visual object recognition的主要机器学习方法。最初的LeNet5由5层组成，VGG以19为特色，而只有Highway Networks[34]和Residual Networks（ResNets）[11]超过了100层barrier。

随着CNN越来越深入，出现了一个新的研究问题：随着有关输入或梯度的信息通过多层，它可能在到达网络结束（或开始）时消失并“wash out”。 许多最近的出版物解决了这个或相关的问 ResNets和Highway Networks通过identity connections将信号从一层传递到下一层。随机深度（stochastic depth）通过在训练期间随机丢弃层来缩短ResNets，以获得更好的信息和梯度流。 FractalNets重复组合了几个具有不同数量的卷积块的并行层序列，以获得较大的nominal depth，同时在网络中保持许多短路径。 虽然这些不同的方法在网络拓扑和训练过程中有所不同，但它们都具有一个关键特征：they create short paths from early layers to later layers。

文章提出了一种体系结构，为一种简单的连接模式：为了确保网络中各层之间的最大信息流，将所有层（与feature-maps大小匹配）直接相互连接。为了保持前馈性质，每个层从所有前面的层获得额外输入，并将其自己的feature-maps传递给所有后续层。

图1示意性地说明了这种布局。

至关重要的是，与ResNets相比，DenseNet从未在特征传递到一层之前通过求和（summation）来组合特征；相反，DenseNet通过连接（concatenating）它们来组合特征。因此，第层具有l个输入，包括所有先前卷积块的feature-maps。它自己的feature-maps传递给所有L-l后续层。这在L层网络中引入个连接，而不是像在传统架构中那样仅仅有L个。由于其密集的连接模式，文章的方法称为Dense Convolutional Network（DenseNet）。

3. DenseNets

考虑通过卷积网络传递的单个图像x0。 该网络包括L层，每层实现非线性变换，其中l索引层。可以是诸如Batch Normalization（BN），rectified linear units（ReLU），Pooling或Convolution（Conv）等操作的复合函数。将第层的输出表示为。

ResNets.  传统的卷积前馈网络将第一层的输出连接到第层，从而产生以下layer transition：。ResNets add a skip-connection that bypasses the non-linear transformations with an identity function：

ResNets的一个优点是梯度可以直接通过identity function从后面的层流到更早的层。 然而，的identity function和输出通过求和来组合，这可能阻碍网络中的信息流。

Dense connectivity.  为了进一步改善层之间的信息流，提出了一种不同的连接模式：引入了从任何层到所有后续层的直接连接。因此，第层接收所有前面层的feature-maps， 作为输入：

其中是指层0,...,l-1中产生的feature-maps的连接。 由于其密集连接，我们将此网络架构称为密集卷积网络（DenseNet）。 为了便于实现，在式（2）中连接的多个输入成单张量。