​多大分辨率图像做分类更适合？浙大&华为&国科大等提出Dynamic Resolution Network，降低计算量还提性能！...

关注公众号，发现CV技术之美

▊ 写在前面

为了获得更高的精度，深卷积神经网络（CNN）通常具有复杂的设计，具有许多卷积层和可学习的参数。为了减轻在移动设备上部署网络的成本，最近的工作开始研究在预定义的结构中挖掘冗余的模块和参数。然而，目前CNN的输入分辨率冗余尚未得到充分研究。

在本文中，作者观察到，使用相同的神经网络，精确预测不同图像的最小分辨率是不同的 。为此，作者提出了一种新的动态分辨率网络（DRNet），其中分辨率是根据每个输入样本动态确定的 。

基于此，作者提出了一个具有可忽略计算成本的分辨率预测器，并与分类网络一起进行了优化。在实现上，预测器学习的最小分辨率可以保持甚至超过每个图像原始识别精度。在推断过程中，每个输入图像将调整到其预测的分辨率，以最小化总体计算负担。然后，作者在几个基准网络和数据集上进行了广泛的实验。

结果表明，本文的DRNet可以嵌入任何现成的网络结构中，从而大大降低计算复杂度。例如，与ImageNet上的原始ResNet-50相比，DRNet在计算量减少约34%的情况下实现了类似的性能，而在计算量减少10%的情况下，DRNet的精度提高了1.4%。

▊ 1. 论文和代码地址

Dynamic Resolution Network

论文地址：https://arxiv.org/abs/2106.02898

代码地址：未开源

▊ 2. Motivation

在算法、计算能力和大规模数据集的发展下，深卷积神经网络（CNN）在各种计算机视觉任务中取得了显著的成功。然而，卓越的性能伴随着巨大的计算成本，这使得CNN难以部署在移动设备上。随着实际应用对CNN的需求不断增加，降低计算成本，同时保持神经网络的性能势在必行。

最近，研究人员致力于研究模型压缩和加速方法，包括网络剪枝、低比特量化、知识蒸馏和轻量级网络设计。

网络剪枝 旨在通过一定的标准剪枝对模型性能不敏感的滤波器进行剪枝；

低比特量化 指用低比特值来量化权重参数和激活值；

知识蒸馏 将教师模型学习到的知识转移到学生模型从而来提高性能；

轻量级网络设计 通过设计一些轻量级操作（如depth-wise convolution）来构建新的网络。

输入分辨率是影响CNN计算量和性能的重要因素。对于同一网络，更高的分辨率通常会导致更大的FLOPs和更高的精度。虽然分辨率较小的模型性能较低，但FLOPs也较小，这能减轻CNN的计算负担。

作者用预训练好的ResNet50测试了一些不同分辨率下的图像，并计算了每个样本正确预测所需的最小分辨率，如上图所示。“简单”样本 ，如前景明显的panda，可以在低分辨率和高分辨率下正确分类ÿ