Densely Connected Convolutional Networks

Abstract

• 最近的研究表明，如果卷积网络在靠近输入和接近输出的层之间包含较短的连接，那么卷积网络可以更深入、更准确并有效地训练。
• 本文引入了紧密卷积网络（densenet），它以一种前馈的方式将每一层连接到另一层。
• 传统的具有L层的卷积网络在每一层和其后续层之间都有L连接，而我们的网络有L(L+1)/2个直接连接。对于每个图层，前面所有图层的特征图都用作输入，其自身的特征图也用作后面所有图层的输入。
• densenet有几个引人注目的优点：它们可以缓解消失梯度问题，加强特征传播，鼓励特征重用，并大幅减少参数数量。

Introduction

• 随着CNN越来越深入，一个新的研究问题出现了：当输入或梯度的信息通过许多层时，当它到达网络的末端（或开始）时，它就会消失。
• Resnets和Highway Networks通过身份连接将信号从一层绕过到下一层。随机深度通过在训练期间随机丢弃层来缩短重网，以允许更好的信息和梯度流。
• FractalNets使用不同数量的卷积块重复多个并行层序列，以获得较大的名义深度，同时保持网络中的许多短路径。
• 本文提出了一种简单的连接模式的体系结构：为了确保网络中各层之间的信息流最大化，我们将所有层（匹配大小的特征图）直接连接在一起。
• 为了保留前向性，每个层从前面的所有层获得额外的输入，并将其自身的功能映射传递到后面的所有层。
• 由于其密集的连接模式，我们采用了密集的解决方案网络（densenet）。这种密集连接模式可能会产生一种反直觉的效果，即它比传统的卷积网络需要更少的参数，因为不需要重新学习冗余的特征图。
• 传统的前馈结构可以看作是一种状态的算法，这种状态可以从一个层传递到另一个层。每个层从其前一层读取状态并写入下一层。它会更改状态，但也会保留需要保留的信息。
• 我们提出的densenet体系结构明确区分了添加到网络中的信息和保留的信息。densenet层非常窄（例如，每层12个过滤器），只在网络的“集体知识”中添加一组小的功能图，并保持其余功能图不变，最终的分类者根据网络中的所有功能图做出决定。一个最大的优点是它改善了整个网络中的信息流和梯度，使其易于训练。每一层都可以从损耗函数和原始输入信号直接访问梯度，从而实现隐含的深度监督。

RelatedWork

• 公路网络是最早提供有效训练100层以上端到端网络的架构之一。通过使用典型的跳跃路径和选通单元，可以优化具有数百层的公路网络，而无需进行任何修改。跳跃路径被认为是简化这些非常深的网络训练的关键因素。
• 随机深度通过在训练过程中随机丢包层来提高深剩余网络的训练效果。这表明并非所有层都需要，并强调深层（剩余）网络中存在大量冗余。
• Densenet没有从极深或极宽的体系结构中汲取代表性的力量，而是通过功能重用利用网络的潜力，生成易于训练且参数效率高的浓缩模型。将不同层学习的特征图连接起来会增加后续层输入的变化，并提高效率。
• 网络中的网络(NIN)结构将微型多层感知器引入卷积层的过滤器中，以提取更复杂的特征。
• 在深监控网络(DSN)中，内部层由辅助分类器直接监控，这可以增强早期层接收到的梯度。
• 梯形网络将横向连接引入自动编码器，在半监督学习任务中产生令人印象深刻的精度。
• 深度融合网络（DFN）被提议通过结合不同基础网络的中间层来改善信息流。此外，还显示了通过路径方式增加网络以减少重构损失，从而改进了图像分类模型。

DenseNets

• Resnets的一个优点是，梯度可以直接通过标识函数从后期层流向早期层。然而，标识函数与的输出通过求和结合在一起，这可能会阻碍信息在网络中的流动。

Conclusion

• 我们提出了一种新的卷积网络结构，我们称之为密集卷积网络（densenet）。它引入了具有相同特征图大小的任意两层之间的直接连接。我们发现，densenet可以自然地扩展到数百层，但没有显示出优化方面的差异。
• 在我们的实验中，Densenet趋向于随着参数数量的增加，在精度上获得一致的提高，而没有任何性能下降或过度配置的迹象。在多个环境下，它在多个高度竞争的数据集中实现了最先进的结果。此外，densenet需要更少的参数和更少的计算来实现最先进的性能。
• 由于我们在研究中采用了对剩余网络进行优化的超参数设置，因此我们认为，通过更详细地调整超参数和学习速率表，可以进一步提高densenet的精度。
• 虽然遵循一个简单的连接规则，DenseNet自然地集成了身份映射、深度监控和不同深度的属性。它们允许在整个网络中重用特性，因此可以学习更紧凑，更精确的模型。