[NTIRE 2022]Residual Local Feature Network for Efficient Super-Resolution

Residual Local Feature Network for Efficient Super-Resolution

(用于高效超分辨率的残差特征局部网络)

NTIRE 2022

*图像修复领域最具影响力的国际顶级赛事——New Trends in Image Restoration and Enhancement（NTIRE）

作者：Fangyuan Kong* Mingxi Li∗ Songwei Liu∗ Ding Liu Jingwen He Yang Bai Fangmin Chen Lean Fu

单位：ByteDance Inc

代码： https://github.com/fyan111/RLFN

论文地址：https://arxiv.org/pdf/2205.07514

一、问题动机

基于深度学习的方法在单幅图像超分辨率（SISR）中取得了很好的表现。然而，高效超分辨率的最新进展侧重于减少参数和 FLOP 的数量，它们通过复杂的层连接策略提高特征利用率来聚合更强大的特征。这些结构受限于当今的移动端硬件架构，这使得它们难以部署到资源受限的设备上。

二、主要思路和亮点

作者重新审视了当前最先进的高效 SR 模型 RFDN ，并尝试在重建图像质量和推理时间之间实现更好的权衡。首先，作者重新考虑了 RFDN 提出的残差特征蒸馏块的几个组件的效率。作者观察到，尽管特征蒸馏显着减少了参数数量并有助于整体性能，但它对硬件不够友好，并限制了 RFDN 的推理速度。为了提高其效率，作者提出了一种新颖的残差局部特征网络（RLFN），可以减少网络碎片并保持模型容量。为了进一步提高其性能，作者建议使用对比损失。作者注意到，其特征提取器的中间特征的选择对性能有很大的影响。作者对中间特征的性质进行了综合研究，并得出结论，浅层特征保留了更准确的细节和纹理，这对于面向 PSNR 的模型至关重要。基于此，作者构建了一个改进的特征提取器