《Deep Adaptive Inference Networks for Single Image Super-Resolution》论文阅读

《Deep Adaptive Inference Networks for Single Image Super-Resolution》

摘要

近年来，由于深度卷积神经网络的部署，单图像超分辨率(SISR)取得了巨大的进展。 对于大多数现有的方法，每个SISR模型的计算成本与局部图像内容、硬件平台和应用场景无关。 尽管如此，内容和资源自适应模型更受欢迎，并鼓励将更简单和高效的网络应用于更容易的区域，细节较少，以及效率限制有限的场景。 在本文中，我们采取了一个步骤来解决这个问题，利用自适应推理网络的深度SISR(AdaDSR)。 特别是，我们的AdaDSR涉及一个SISR模型作为骨干和一个轻量级适配器模块，它以图像特征和资源约束作为输入，并预测本地网络深度的映射图。 然后在有效的稀疏卷积的支持下进行自适应推理，其中只有一小部分骨干中的层根据其预测深度在给定位置执行。 网络学习可以制定为重建和网络深度损失的联合优化。 在推理阶段，平均深度可以灵活调整，以满足一系列的效率约束。 实验表明，我们的AdaDSR与其同行(例如EDSR和RCAN)相比，具有有效性和适应性。

我们提出了用于深度sisr的自适应推理网络，即adadsr，它添加了一个轻量级适配器模块的主干，以用于空间自适应推理的局部深度映射。

将图像特征和期望深度作为适配器的输入，将重构损耗与深度损耗结合起来进行网络学习，从而使ADADSR配备稀疏卷积，以适应各种效率约束

实验表明，我们的adadsr在精度和效率之间比it对应物(即EDSR和RCA N)实现了更好的权衡，并且可以在没有从头开始训练的情况下适应不同的效率约束。

网络结构

本节介绍了我们的AdaDSR单图像超分辨率模型.. 首先，我们为主干配备了一个网络深度图，以方便空间变异推断。 然后，引入稀疏卷积，通过省略不必要的计算来加快推理。此外，还部署了一个轻量级适配器模块来预测网络深度图。 最后，总体网络结构（见图）。 

一、具有空间变异网络深度的AdaDSR

 单图像超分辨率的目的是学习一种映射，从其低分辨率(LR)观测x中重建高分辨率图像，其中F表示具有网络参数θ的SISR网络。在本工作中，我们考虑了由三个主要模块组成的深度SISR网络的代表性类别，即特征提取Fe、残差块和HR重建Fr。以EDSR为例，我们给出了Zo=Fe(X)。 然后，剩余块的输出可以表示为：

 其中<