单元格自适应宽度_ECCV 2020 Oral：MutualNet：通过Mutual的自适应ConvNet 从网络宽度和分辨率中学习...

论文提出了一种宽度分辨率互学习方法(MutualNet)来训练在动态资源约束下可执行的网络，以在运行时实现自适应的精度-效率折中。我们的方法使用不同的输入来训练一组具有不同宽度的子网解决方案，以相互学习每个子网的多尺度表示。在不同的计算约束下，它比最先进的自适应网络US-Net始终获得更高的ImageNet top-1精度，并且比EfficientNet中最佳的复合规模MobileNet优越1.5％。我们的方法的优越性在COCO对象检测和实例分割以及转移学习上也得到了验证。令人惊讶的是，MutualNet的训练策略还可以提高单个网络的性能，在效率(GPU搜索时间：15000 vs. 0)和准确性(ImageNet：77.6％vs. 78.6％)方面均大大优于强大的AutoAugmentation)。

代码可以在https://github.com/taoyang1122/MutualNet上获取。

论文获取地址：https://arxiv.org/abs/1909.12978

1. Introduction

深度神经网络在多项感知任务上都很成功。但是，深度网络通常需要大量的计算资源，很难部署到移动设备和嵌入式平台上。这就促使人们去研究，如何设计出更高效的卷积模块或裁剪掉不重要的网络连接，来降低神经网络中的冗余。但是，这些网络都忽略了一个事实，计算成本由网络的大小和输入的大小决定。只想着降低网络的大小是没法实现最优的准确率-效率平衡的。EfficientNet 已经认识到，平衡网络深度、宽度、分辨率的重要性。但是它只考虑了网络的大小和输入的大小。作者对不同的配置进行了网格搜索，选择最佳的配置，作者认为网络的大小和输入大小应该结合不同配置信息一起来考虑。

另一个妨碍网络实际部署的问题就是，在不同的应用平台上计算资源是变化的，而传统网络只能运行在特定的资源约束(如FLOPs)下。为了解决这个问题，有人提出了SlimNets，训练单个模型来满足运行时变动的资源预算。他们只降低了网络的宽度，来满足较低的资源预算。结果是，随着计算资源的降低，模型的表现会大幅度下降。这里，作者提供了一个具体例子，证明输入分辨率和网络宽度平衡的重要性，从而实现更优的准确率-效率平衡。为了在MobileNetV1主干网络上满足从13到569 MFLOPs 的动态资源要求，US-Net 在面对输入是224*224的图片时，所需的网络宽度在[0.05,1.0]*，而这个要求也可以在{224, 192, 160, 128}的范围内调节输入分辨率，而网络宽度在[0.25,1.0]* 来得到满足。作者将第二个模型叫做US-Net+。如图1所示，推理时我们将不同的分辨率和网络宽度结合，可以实现更优的准确率-效率平衡。

受上述发现启发，作者提出了一个相互学习的方法，将网络宽度和输入分辨率融入到一个统一的学习框架内。如图2所示，该框架的输入是不同输入分辨率的子网络。由于子网络之间共享权重，每个子网络都可以学习其它子网络的知识，从而使它们能够获取网络大小和输入分辨率的多尺度特征表示。表1提供了本文框架和其它方法的比较。总之，本文贡献如下：

• 强调了对于高效率网络设计，输入分辨率的重要性。之前的工作要么忽略了，要么脱离了网络结构而单独来看待它。相反，作者在一个统一的相互学习的框架中加入了网络宽度和输入分辨率信息，学习网络 MutualNet，它可以在准确率-效率之间实现自适应的平衡。

• 作者进行了大量的实验来证明MutualNet的有效性。在不同的资源约束下，在不同的网络结构、数据集、任务上，它都显著超越了单独训练的网络和其它US-Net。本文应该是第一个在目标检测和实例分割任务上对任意约束自适应网络做benchmark的。

• 作者进行了充分的研究，分析相互学习方式。作者进一步证明了该框架可以作为plut-and-play策略，提升单个网络的性能，它超越了流行的性能提升方法，如数据增广, SENet 和知识蒸馏等。

• 该框架是一个通用的训练机制，与模型无关。它可以用在任何的网络上，而无需调整其结构。这就使得它可以和SOTA的技巧兼容(如NAS和AutoAugmentation)。