论文阅读——Densely Connected Convolutional Networks

论文【Densely Connected Convolutional Networks】

DenseNet是在ResNet基础上的改良。

在一个Dense Block中前层的特征图channel连接到每一个后层输出中，L层的Dense Block包括L(L+1)/2个直接连接。如下图所示：

DenseNet有以下几个有点：缓和了梯度消失问题、加强了特征传播复用、减少了参数数量。

其与ResNet主要区别就是DenseNet特征图复用性更强，Dense Block内每一层都将特征图直接传递到后面每一层进行复用，且ResNet复用方式是特征图叠加而DenseNet则是channel连接。

Dense Block中每一层，也就是映射函数H采用的是BN + ReLU + Conv(33)，由于需要channel连接，每层输出的特征图大小相同。Dense Block之间的连接层被称为Transition layers，由BN+ReLU + 11 Conv + 2*2 Avg Pooling组成。Transition layers主要功能是进行下采样。

DenseNet有个超参数被称为Growth rate，其表示Dense Block内每一层产生特征图的通道数，也即表示每一层卷积核数量。假设其为K，则每一层产生K通道特征图，由于DenseNet所采用的特征图复用传递方式，第L层的输入为L*K通道的特征图。

由上可知，随着层数的增加，每一层的输入也将线性增加，第L层的输入为LK通道的特征图。为了降低输入通道数量，设计了第二个版本的H函数，由BN + ReLU + Conv(11) + BN + ReLU + Conv(33)组成，被称为DenseNet-B模型。其中Conv(11)被用来降低通道数量，在本文实验中产生4*K通道的特征图。相当于引入了bottleneck结构，降低通道数量提高计算效率。

Transition layers除了降低特征图大小，还可以通过11卷积进一步压缩特征图通道数，有参数θ为压缩系数，θ属于(0,1]。假设输入时m个通道的特征图，当θ=1时不压缩，当θ<1时产生θm向下取整个通道特征图。当θ<1时，模型又被称为DenseNet-C，与前面的DenseNet-B同时使用时模型被称为DenseBlock-BC。文中实验里采用θ = 0.5。

ImageNet下DenseNet不同层网络结构如下所示，Growth rate设置为32：

实验
本文主要做了ImageNet、CIFAR、SVHN数据及下的实验，其中CIFAR和SVHN实验结果如下：

上表中的k表示Growth rate。+表示数据增强。

DenseNet相对于各种算法框架展现了更优的性能，特别是未进行数据增强的情况下，能够做到用更少的参数产生更优于ResNet的结果。