DenseNet论文记录

概述

随着网络的发展，许多网络都是从不断加深网络和拓宽网络来增强网络的精度。ResNet的提出，轰动一时。我们想到如果卷积网络在接近输入层和接近输出层的层之间包含更短的连接，本质上可以更有效的训练。
DenseNet通过特征重用和旁路连接，以前馈方式将每一层连接到每一层中。与ResNet不同的是，DenseNet在特征流到下一层之前，不做叠加，而是通过层之间的叠加将特征融合。所以第l层有l个输入，由之前所有层的卷积模块特征图组成。所以对于L层网络，会产生L(L+1)/2个连接。密集连接有正则化的作用，可以减少在较少数据集上的过拟合。
DenseNet的优点：
（1）缓解梯度消失
（2）增强特征传播
（3）鼓励特征重用
（4）减少参数量
有一个问题随着卷积神经网络的不断加深引发出来。就是输入或梯度信息通过许多层时，可能会消失，并且在到达末端的时候被冲洗掉。许多网络对ResNet进行了改进，尽管这些网络有不同的方法，但是都有一个关键特征：创建从早期到后期的短路径(shortcut)。将这一见解提炼为一种简单连接方式，为了确保网络中各层之间的信息流达到最大，将所有层直接连接到一起。
密集连接模式比传统CNN需要更少的网络，因为它不需要重新学习冗余的特征映射。DenseNet明确区分了添加到网络里的信息和保留的信息。DenseNet非常窄(比如每层只有12个filter)。除了更好的参数效率，DenseNet改进了网络信息流和梯度，更易于训练，因为每一层都和损失函数的梯度有直接的连接。

DenseNet

图像输入为x0，网络有L层，每一层都包含一个线性变换H(.)，可以BN，ReLU，Pooling或者是卷积层。第l层的输出为xl。

ResNet

传统神经网络第i层的输出xi= = H_{i} ( X_{i-1} ).ResNet加入了旁路连接，可以写作xi= = X_{l} ( X_{l-1} )+ X_{l-1}。
ResNet的优点是在反向传播时，靠后层的梯度可以直接传到到之前的层，Hl和xl-1是直接相加的，这可能会导致对信息传递的阻碍。

Dense connectivity