DenseNet

摘要

卷积神经网络越深其准确率也越高，并且如果它们包含距离输入和输出层之间较短的连接时，它们更容易训练，对于传统的网络来说有L层网络，那么其有L个连接，但对于Densenet来说其有L(L+1)/2个连接。DenseNet有一下几个优点：减缓了梯度消失问题，增强了特征传播，鼓励特征重利用，大量的减少了参数数量。
结构如下所示：

简介

随着网络的加深，输入或梯度信息会通过很多层进行传输，由此会出现梯度消失问题。有许多的网络被提出来解决该问题，不过它们共同特性是：建立了从前一层到后一层的短路径，即跳跃连接。
DenseNet同样遵守这一连接模式，为了最大程度的利用层之间的信息流动，每一层包含前面层的输入并且将它们输入到后面的网络层。
由于它能利用前面层的信息进行学习，不需要重复学习多余的信息，因此其需要更少的参数。DenseNnet每一层可以直接利用到从损失函数的梯度和原始的输入，因此导致了隐含的深度监督，这帮助了可以更加容易的训练更深的网络，而不会造成梯度消失问题，同时该网络结构也起到了正则化作用，使用较少训练集训练时减少了过拟合效应。在连接方式上与Res