DenseNet通过引入密集连接防止梯度消失，促进特征传播与融合，同时减少参数数量。每层接收前所有层的输入，并通过concatenate操作结合。Dense Block之间设有池化层，1*1卷积用于减小通道数。实验表明，DenseNet在CIFAR和ImageNet数据集上表现出色。
DenseNet将跳跃连接做到了极致。DenseNet的优点：防止梯度弥散，加强特征传播，有利特征融合，减少参数量。
随意领略一下denseNet的跳跃连接：
每层都有来自前面所有层的输入，每层的输出通道都为4。
在设计denseNet的时候，一般只有在两个下采样层之间的那些网络层进行上图那样的跳跃连接，比如：
在每个Dense Block之间都有一个池化层。
DenseNet在处理来当前卷积层的前面几层作为输入的特征图不是用sum操作，因为用sum操作会不利于误差的传播，而是直接采用concatenate操作（直接拼接）。这样以来每一层的输出就不能太大，不然整个网络的参数量会急剧上升。DenseNet专门使用了Growth rate（用k表示）作为每层的输出通道数（比如k=12，每一层输出通道数为12）。
最低0.47元/天 解锁文章
788
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
