Liu M, Zhang Z, Hou L, et al. Deep Adaptive Inference Networks for Single Image Super-Resolution[J]. arXiv preprint arXiv:2004.03915, 2020.
一、介绍
1、motivation
-
内容适应性问题:现有模型的计算成本仍然独立于图像内容和应用场景,模型一旦训练完成,推理阶段是确定性的,图像中的所有区域都需要经过整个网络的前向计算,网络计算无法根据图像内容进行适应性的调整。但是实际中,比如含有8个残差块的EDSR,足以超分辨出纹理较少的光滑图像块。相比之下,对于细节丰富的图像块,则至少需要24个残差单元。
-
资源适应性问题:对于现实应用场景,SISR模型应该可以部署到不同的硬件平台上。即使对于给定的硬件设备,模型也应该在不同的电池条件或工作负载下运行,并且必须满足各种效率约束。该问题也可以通过使模型推理过程自适应于效率约束来解决。
2、solution
-
重建精度跟效率的平衡: AdaDSR引入了一个轻量的适配器模块,该模块以图像特征为输入,并生成图像每个像素对应的网络深度图。如考虑堆叠的残差网络,图像的某位置给定了局部网络深度d,则在测试阶段只需要计算前d个残差块。
-
自适应于资源约束:可以将硬件平台和应用程序场景的效率约束表示为特定的期望深度d
-
预测深度图对于平滑区域网络深度值较小,对于细节丰富的区域网络深度值较大。AdaDSR可以通过指定网络深度值来灵活地调整,以满足各种效率约束。
二、主要内容
1、网络框架
单帧图像超分可以表示为:
考虑由三个主要模块组成的代表性深度SISR网络,即特征提取Fe、残差块和HR重建Fr。如EDSR,残差块的输出可以表示为:
其中
表示第l个残差块的网络参数。给出第(l-1)个残差块的输出,第l个残差块可以被写成
。最后重建高分辨率图像可以被表示为
![](https://i-blog.csdnimg.cn/blog_migrate/2c655f00c3864ac3529bbdc8488faf1c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/590e041d2b7e722b06be81f4ba38ec48.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3ccd3058eb3d1adfd8ebef6ae00bdaac.png)
对于图像平滑区域,不需要使用所有残差块进行重建,对于纹理细节丰富的区域,又需要更多的残差块进行重建,为了实现空间变化的网络深度,作者引入了一个二维网络深度图:
,即处理光滑区域时,网络深度较小;处理具有丰富细节的区域时网络深度较大。于是将网络结构改成:
![](https://i-blog.csdnimg.cn/blog_migrate/c35c2e262f505ba504e62506b5c3eeaa.png)
2、用于有效推理的稀疏卷积
设
为mask表示应保持卷积激活的位置。对于一些常规实现方法,首先要执行标准卷积获得整个输出特征映射
。然后,稀疏结果就可以表示为:
,虽然这种实现满足了空间自适应推理的要求,但与标准卷积依然保持相同的计算复杂度。
![](https://i-blog.csdnimg.cn/blog_migrate/af810fc3c71843a425e21d0d6252640e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4db36ed6078b579b29e61e126a70a662.png)
![](https://i-blog.csdnimg.cn/blog_migrate/df6eb99972d81e2573ddfc4a469a66d2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d4a2248a12dc811bb9a2c651211fd67.png)
作者采用了基于im2col的稀疏卷积进行有效的自适应推理。在底层实现时,卷积会通过im2col转换成矩阵乘法,f中的图像块转换为矩阵
的一行,给定mask m,如果重组输入特征的某位置具有零掩码值,则在构造重组输入特征时可以简单地跳过相应的行(参见图中的阴影行),计算也被跳过。
![](https://i-blog.csdnimg.cn/blog_migrate/a64898708a3231416475f2fc5d3c4d81.png)
3、轻量级适配器模块
适配器模块p以特征映射 为输入,由四个具有PReLU非线性激活函数的卷积层和另一个具有Relu非线性激活函数的卷积层组成。通过适配器模块生成的掩码m,构造稀疏残差块,从而省略具有零掩码值的区域的计算,以便于有效的自适应推理。
为了满足效率约束,还将期望的网络深度d作为适配器的输入:
![](https://i-blog.csdnimg.cn/blog_migrate/68c509a3f9c90a74d54588525ff9100a.png)
4、损失函数
重建损失:
考虑到效率约束,要求预测的网络深度的平均d¯近似于期望的深度d,于是引入以下网络深度损失:
总损失:(超参lamda实验中设置为0.01)
三、实验
1、与其他方法的比较:
2、消融实验
其中FAdaEDSR(8)、FAdaEDSR(16)、FAdaEDSR(24)、FAdaEDSR(32)分别以固定深度d = 8、16、24、32进行训练,适配器模块仅以图像特征作为输入。