CondenseNet: An Efficient DenseNet using Learned Group Convolutions

Abstract

• 深度神经网络越来越多地用于计算资源有限的移动设备上。 在本文中，我们开发了CondenseNet，这是一种具有前所未有的效率的新型网络架构。 它将密集连接与称为学习组卷积的新模块相结合。 密集连接有助于网络中的特征重用，而学习组卷积消除了该特征重用的层之间的连接是超级的。 在测试时，我们的模型可以使用标准组卷积来实现，从而允许在实践中进行有效的计算。 我们的实验表明，CondenseNets比最先进的紧凑卷积网络（如Shuf fl eNets）更有效。

Introduction

• 视觉识别任务中卷积网络（CNN）的高精度，如图像分类[12,19,38]，推动了在计算资源有限的平台上部署这些网络的愿望，例如机器人技术，自动驾驶汽车 ，以及移动设备。不幸的是，最准确的深度CNN，例如ImageNet [6]和COCO [31]挑战的获胜者，被设计用于计算资源丰富的场景。 因此，这些模型不能用于在低计算设备上执行实时推断。
• 该问题推动了计算上有效的CNN的发展，例如，修剪冗余连接，使用低精度或量化的权重，或使用更有效的网络架构。这些努力带来了实质性的改进：为了达到与ImageNet上的VGG [38]相当的精度，ResNets将计算量减少了5倍，DenseNets 减少了10倍，MobileNets和ShuffleNets相差25倍。 在移动设备上进行深度学习的典型设置是CNN在多GPU机器上训练但部署在计算有限的设备上。 因此，良好的网络架构允许在训练期间快速并行化，但在测试时紧凑。
• 最近的工作[4,20]表明CNN中存在大量冗余。 逐层连接模式迫使网络从整个网络中的早期层复制特征。 DenseNet架构[19]通过直接将每个层与其前面的所有层连接来减少对特征复制的需求，这导致了特征重用。虽然效率更高，但我们假设密集连接在后续层中不需要早期特征时会引入冗余。 我们提出了一种新方法来修剪层之间的这种冗余连接，然后引入更有效的架构。
• 与先前的修剪方法相比，我们的方法在训练过程中自动学习解析网络，并产生可以使用组卷积有效实现的常规连接模式。 具体而言，我们将一个层的过滤器分成多个组，并在训练期间逐渐删除每组不太重要的特征的连接。 重要的是，传入功能组不是预定义的，而是学习的。 最终的模型名为CondenseNet，可以在GPU上有效地进行训练，并且在移动设备上具有很高的推理速度。
• 我们的图像分类实验表明，CondenseNets始终优于其他网络架构。 与DenseNets相比，CondenseNets在相当的精度水平下仅使用1/10的计算量。 在ImageNet数据集[6]上，拥有2.75亿FLOPs1的CondenseNet实现了29％的前1错误，这与需要两倍计算量的MobileNet的错误相当。

Related Work and Background

• CondenseNets与通过权重修剪[11,14,27,29,32]和/或权重量化提高（卷积）网络的推理效率的方法密切相关。这些方法是有效的，因为深度网络通常具有大量冗余权重，可以在没有牺牲（有时甚至是改进）准确性的情况下进行修剪或量化。对于卷积网络，不同的修剪技术可能会导致不同的粒度级别。细粒度修剪，例如独立的重量修剪[10