DenseNet将跳跃连接做到了极致。DenseNet的优点:防止梯度弥散,加强特征传播,有利特征融合,减少参数量。
随意领略一下denseNet的跳跃连接:
每层都有来自前面所有层的输入,每层的输出通道都为4。
在设计denseNet的时候,一般只有在两个下采样层之间的那些网络层进行上图那样的跳跃连接,比如:
在每个Dense Block之间都有一个池化层。
DenseNet在处理来当前卷积层的前面几层作为输入的特征图不是用sum操作,因为用sum操作会不利于误差的传播,而是直接采用concatenate操作(直接拼接)。这样以来每一层的输出就不能太大,不然整个网络的参数量会急剧上升。DenseNet专门使用了Growth rate(用k表示)作为每层的输出通道数(比如k=12,每一层输出通道数为12)。