AdaDSR（Deep Adaptive Inference Networks for Single Image Super-Resolution论文笔记）

 Liu M, Zhang Z, Hou L, et al. Deep Adaptive Inference Networks for Single Image Super-Resolution[J]. arXiv preprint arXiv:2004.03915, 2020.

https://github.com/csmliu/AdaDSR

---

一、介绍

1、motivation

• 内容适应性问题：现有模型的计算成本仍然独立于图像内容和应用场景，模型一旦训练完成，推理阶段是确定性的，图像中的所有区域都需要经过整个网络的前向计算，网络计算无法根据图像内容进行适应性的调整。但是实际中，比如含有8个残差块的EDSR，足以超分辨出纹理较少的光滑图像块。相比之下，对于细节丰富的图像块，则至少需要24个残差单元。
• 资源适应性问题：对于现实应用场景，SISR模型应该可以部署到不同的硬件平台上。即使对于给定的硬件设备，模型也应该在不同的电池条件或工作负载下运行，并且必须满足各种效率约束。该问题也可以通过使模型推理过程自适应于效率约束来解决。

2、solution

• 重建精度跟效率的平衡： AdaDSR引入了一个轻量的适配器模块，该模块以图像特征为输入，并生成图像每个像素对应的网络深度图。如考虑堆叠的残差网络，图像的某位置给定了局部网络深度d，则在测试阶段只需要计算前d个残差块。
• 自适应于资源约束：可以将硬件平台和应用程序场景的效率约束表示为特定的期望深度d
• 预测深度图对于平滑区域网络深度值较小，对于细节丰富的区域网络深度值较大。AdaDSR可以通过指定网络深度值来灵活地调整，以满足各种效率约束。

二、主要内容

1、网络框架

    单帧图像超分可以表示为：

    考虑由三个主要模块组成的代表性深度SISR网络，即特征提取Fe、残差块和HR重建Fr。如EDSR，残差块的输出可以表示为：

        其中   表示第l个残差块的网络参数。给出第（l-1）个残差块的输出，第l个残差块可以被写成  。最后重建高分辨率图像可以被表示为 

        对于图像平滑区域，不需要使用所有残差块进行重建，对于纹理细节丰富的区域，又需要更多的残差块进行重建，为了实现空间变化的网络深度，作者引入了一个二维网络深度图： ，即处理光滑区域时，网络深度较小；处理具有丰富细节的区域时网络深度较大。于是将网络结构改成：

 

 

2、用于有效推理的稀疏卷积

设  为mask表示应保持卷积激活的位置。对于一些常规实现方法，首先要执行标准卷积获得整个输出特征映射  。然后，稀疏结果就可以表示为：    ，虽然这种实现满足了空间自适应推理的要求，但与标准卷积依然保持相同的计算复杂度。

 

作者采用了基于im2col的稀疏卷积进行有效的自适应推理。在底层实现时，卷积会通过im2col转换成矩阵乘法，f中的图像块转换为矩阵 的一行，给定mask m，如果重组输入特征的某位置具有零掩码值，则在构造重组输入特征时可以简单地跳过相应的行(参见图中的阴影行)，计算也被跳过。

3、轻量级适配器模块

         适配器模块p以特征映射     为输入，由四个具有PReLU非线性激活函数的卷积层和另一个具有Relu非线性激活函数的卷积层组成。通过适配器模块生成的掩码m，构造稀疏残差块，从而省略具有零掩码值的区域的计算，以便于有效的自适应推理。

        为了满足效率约束，还将期望的网络深度d作为适配器的输入： 

4、损失函数

    重建损失：

    考虑到效率约束，要求预测的网络深度的平均d¯近似于期望的深度d，于是引入以下网络深度损失：

总损失：（超参lamda实验中设置为0.01）

三、实验

1、与其他方法的比较：

 

2、消融实验

其中FAdaEDSR(8)、FAdaEDSR(16)、FAdaEDSR(24)、FAdaEDSR(32)分别以固定深度d = 8、16、24、32进行训练，适配器模块仅以图像特征作为输入。