《Deep Adaptive Inference Networks for Single Image Super-Resolution》阅读笔记

一、论文

《Deep Adaptive Inference Networks for Single Image Super-Resolution》

摘要近年来，由于深度卷积神经网络（CNN）的部署，单图像超分辨率（SISR）取得了巨大进展。 对于大多数现有方法，每个SISR模型的计算成本与本地图像内容，硬件平台和应用场景无关。 但是，内容和资源自适应模型是更可取的，它鼓励将更简单，更有效的网络应用于细节较少，效率受到限制的较容易区域。 在本文中，我们通过利用针对深度SISR（AdaDSR）的自适应推理网络来解决此问题，迈出了一步。 特别是，我们的AdaDSR包含一个SISR模型作为主干和一个轻量级适配器模块，该模块以图像特征和资源约束为输入并预测本地网络深度图。 然后，可以在有效的稀疏卷积的支持下执行自适应推理，其中，根据预测的深度，仅在给定位置执行主干中的一部分层。 网络学习可以表述为重建和网络深度损失的联合优化。 在推断阶段，可以灵活调整平均深度，以满足一系列效率约束。 实验证明了与同等产品（例如EDSR和RCAN）相比，我们的AdaDSR的有效性和适应性。

总而言之，这项工作的贡献包括：

我们提出了用于深度SISR的自适应推理网络，即AdaDSR，它为轻型适配器模块添加了主干，以生成用于空间自适应推理的局部深度图。

图像特征和所需深度都作为适配器的输入，并且重构损失与网络学习的深度损失结合在一起，从而使配备有稀疏卷积的AdaDSR能够适应各种效率约束。

实验表明，我们的AdaDSR在准确性和效率之间取得了比同类产品（即EDSR和RCAN）更好的折衷，并且可以适应不同的效率约束，而无需从头进行训练。

二、网络结构

图2：AdaDSR的整体示意图。 底部是分别显示AdaEDSR和AdaRCAN的图。 在左上角，五层适配器将z0用作输入，并且第一卷积的权重通过d即时调整。 适配器生成深度图（对于AdaEDSR G = 1，而对于AdaRCAN G = 10）。d的每个通道都传递到一组稀疏残差块（如右上方所示）。 仅一小部分位置（用深蓝色标记）需要计算。 

图3：一个示例，说明基于im2col [4]的稀疏卷积。  分别表示卷积，逐项乘积和矩阵乘法。  f，w和o是标准卷积运算的输入特征，卷积核和输出特征，由任意卷积实现算法实现，而在im2col过程中，从f和w重组。 给定掩码m，经过重组的指示可以在基于im2col的稀疏卷积中安全地忽略阴影行，因此与基于标准卷积的稀疏卷积相比，计算量减少了（如上半部分所示）。

三、代码