论文阅读-《Densely Connected Convolutional Networks》

CVPR 2017 Best Paper

Motivation:

最近的一些卷积神经网络都证实了在网络当中加入short connection能够让网络更深、更准确、更高效，
另一方面，最近的一些resnet的变种往往可以用更浅层的模型达到和深层的模型差不多的性能，这些充分说明了现有的卷积神经网络学习得到的很多特征都是冗余的。

作者的想法是充分利用skip connection，设计一个dense convolutional network，让每一个层都接受它前面所有层的输出，这样的话，对于普通的神经网络，L层一共有L个connection.但是对于densely convolutional network，L层一共有L(L-1) / 2个connection。

DenseNet的优点在于能够有效缓解梯度消失的问题，梯度可以通过long range connection直接传回到浅层，相当于整个网络所有的卷积层都可以通过几个skip connection得到loss function直接的监督，可以保证浅层的参数得到有效的更新；

另一方面，DenseNet能够重复利用特征，提高特征的质量，并大大减少网络的参数数目。每一个层的输入都是前面所有层的输出，这样增大了每一个卷积层的输入分布的variation，可以让卷积层的参数得到充分的训练，提高特征的质量，达到以较少的层就能学习到较强的表达能力的效果。

Framework

上图表示作者