《Deep Adaptive Inference Networks for Single Image Super-Resolution》
摘要
近年来,由于深度卷积神经网络的部署,单图像超分辨率(SISR)取得了巨大的进展。 对于大多数现有的方法,每个SISR模型的计算成本与局部图像内容、硬件平台和应用场景无关。 尽管如此,内容和资源自适应模型更受欢迎,并鼓励将更简单和高效的网络应用于更容易的区域,细节较少,以及效率限制有限的场景。 在本文中,我们采取了一个步骤来解决这个问题,利用自适应推理网络的深度SISR(AdaDSR)。 特别是,我们的AdaDSR涉及一个SISR模型作为骨干和一个轻量级适配器模块,它以图像特征和资源约束作为输入,并预测本地网络深度的映射图。 然后在有效的稀疏卷积的支持下进行自适应推理,其中只有一小部分骨干中的层根据其预测深度在给定位置执行。 网络学习可以制定为重建和网络深度损失的联合优化。 在推理阶段,平均深度可以灵活调整,以满足一系列的效率约束。 实验表明,我们的AdaDSR与其同行(例如EDSR和RCAN)相比,具有有效性和适应性。
我们提出了用于深度sisr的自适应推理网络,即adadsr,它添加了一个轻量级适配器模块的主干,以用于空间自适应推理的局部深度映射。
将图像特征和期望深度作为适配器的输入,将重构损耗与深度损耗结合起来进行网络学习,从而使ADADSR配备稀疏卷积,以适应各种效率约束
实验表明,我们的adadsr在精度和效率之间比it对应物(即EDSR和RCA N)实现了更好的权衡,并且可以在没有从头开始训练的情况下适应不同的效率约束。
网络结构
本节介绍了我们的AdaDSR单图像超分辨率模型.. 首先,我们为主干配备了一个网络深度图,以方便空间变异推断。 然后,引入稀疏卷积,通过省略不必要的计算来加快推理。此外,还部署了一个轻量级适配器模块来预测网络深度图。 最后,总体网络结构(见图)。
一、具有空间变异网络深度的AdaDSR
单图像超分辨率的目的是学习一种映射,从其低分辨率(LR)观测x中重建高分辨率图像,其中F表示具有网络参数θ的SISR网络。在本工作中,我们考虑了由三个主要模块组成的深度SISR网络的代表性类别,即特征提取Fe、残差块和HR重建Fr。以EDSR为例,我们给出了Zo=Fe(X)。 然后,剩余块的输出可以表示为:
其中表示第l个残差块的网络参数。给出第(l-1)个残差块的输出,第l个残差块可以被写成