DenseNet --CVPR 2017年 最佳论文

2017年国际计算机视觉与模式识别大会（CVPR2017）在美国夏威夷火奴鲁鲁岛召开，姚班计科30班刘壮同学以共同第一作者身份发表的大会论文Densely Connected Convolutional Networks（《密集连接的卷积神经网络》）获得了会议最佳论文奖。

论文主要的贡献是提出了一种全新的卷积神经网络架构DenseNet，显著地提升了模型在图片识别任务上的准确率。

让我们一起拜读一下大牛的这篇文章吧！！！

摘要

最近的研究工作表明，卷积神经网络在临近输入层和输出层之间加入捷径连接，使得网络能够更深、更准确、更有效地训练。

在本文中，我们提出了稠密卷积网络（DenseNet)。一个传统的L层卷积网络只有L个连接，是指每一层只与后一层相连；一个 L层的DenseNet网络有L(L+1)/2 个连接，是指每一层都与后继所有层相连接。

DenseNet 有以下优势：

• 减缓梯度消失
• 加强特征传递
• 有效特征复用
• 减少参数数量

DenseNet 在四个数据集（CIFAR-10, CIFAR-100, SVHN, ImageNet) 进行了评估，相比当前最好的模型来说取得了很大的提升，实现了更高的准确率的同时也减少了计算量。

一、引言

CNN卷积网络已经成为处理视觉目标识别问题的主流机器学习方法。尽管该方法已经在20年前已经提出，但在计算机硬件的升级换代和网络结构的提升之后，深度的CNN网络训练才成为可能。早期的LeNet-5只有5层，VGG网络有19层，HIghway和ResNet网络均超过了100层。

当卷积网络变得越来越深时，一个新的研究问题出现了: 随着输入信息或梯度信息穿越很多层网络后，它可能会消失。

近几年的研究分别针对这个问题给出了解决方案：

1. ResNet和Highway网络采用了恒等连接的方式，使得输入直接从前面的层传递到后面的层。
2. Stochastic depth 通过在训练阶段随机地丢弃一些层来实现信息和梯度得更好传递。（网络更深）
3. FractalNets 使用不同数量的卷积块来组合若干个并行的层，并在网络中维护很多短的路径。（网络更宽）

尽管这些方法在网络拓扑和训练过程有所不同，但它们都有一个共同的特征：它们从早期的层到后期的层之间都创建了快捷路径。

在本文中，我们提出的网络结构，将上述的观察应用到一个简单的连接模式中，从而达到在网络层与层之间最大限度的信息流动的目的。
具体做法是：我们两两连接了网络中的所有层。每一层从它前面的所有层中获得了额外的输入，同时也将它自身输出的特征图传递到后续的所有层中。

与ResNet相比，DenseNet没有使用加和的方式去融合特征，而是选择了在通道层拼接的方式。

因此，DenseNet 第m层有m个输入特征图的组合，包含了从输入层到第 m-1 层一共m层的输出特征图。
然后第m层自身的输出特征图又传递到后续的L-m 的每一个层的输入当中(其中L是总层数)。

性质1: DenseNet网络需要的的参数更少

这种稠密连接的模式带来的一种违反自觉的效果是它比传统的网络需要更少的参数量。因为它不需要学习多余的特征图。

具体来说，传统的卷积网络随着前向传播过程通道数是逐渐增多的，因为它不仅需要保存早期层的信息，也要保存当前层的信息。
然而DenseNet网络每层的通道数是固定的，而且很窄（比如12）。因为早期层的信息都会传递过来，它只需要很少的卷积核去提取当前层的信息即可。

性质2: DenseNet改善了信息和梯度在网络中的流动，使得网络很容易训练。

每一层都可以直接从损失函数和原始输入信号中获得梯度，从而实现隐式的深度监督，使得训练过程更加容易。

性质3: 实验观测到DenseNet这种网络连接模式有正则化的功效，在小数据集上能够减少过拟合。

二、 相关研究

现在的网络结构越来越多的层扩大了架构之间的差异，激发了研究人员对不同连接模式的探索，和对研究思路的重新审视。

2.1 对网络深度的研究

Highway是采用门控单元来实现的快捷连接。这个很好理解，对于网络中的某一层，传统网络的思路是通过一个非线性函数转换后得到一个输出并传递给下一层。而Highway 是采用一个门控单元，那么就有两种可能，一种是和传统网络一样传递一个非线性转换的结果，一种是直接不做转换，将输入的数据作为输出向后传递。
这样做的好处是在网络训练过程中，对于网络中不做转换的层，梯度信息可以直接传递到前面的层。使得训练过程更加容易。

ResNet，也同样和HighWay有相似的实现，它是在传统网络的基础上添加了一个捷径路径（恒等映射）。

stochastic depth 是成功的训练了一个1202层的ResNet，采用了训练过程中随机丢弃若干层的思路。

2.2 对网络宽度的研究

GoogLeNet 采用 Inception模块来组合不同大小的卷积核生成的特征图。

一个具有更宽的残差模块的ResNet 变体被提出；实际上，简单的增加ResNet每一层的卷积核的数量也能提升模型的表现。

2.3 相关研究小结

作者表示代替于研究更深或者更宽的网络结构，DenseNet 致力于通过特征复用的方式来探索网络的潜力，得到一个容易训练且参数高效的浓缩模型。

三、DenseNet 网络

假设$x_l$为第l层的输出特征图；$H_l()$表示第l层的非线性转换函数，可以理解为BN、ReLU、Conv、Pooling这些操作的组合。

那么对于传统的卷积网络，第l层的输出特征图可以用公式如下表示：

x l = H l ( x l − 1 ) x_l = H_l(x_{l-1}) xl​=H