中科大镜像_RealSR新突破|中科大提出全频带区域自适应图像超分|ORNet

编辑：Happy
首发： AIWalker

Paper: https://arxiv.org/pdf/2012.06131.pdf

该文是中科大陈志波老师团队在RealSR方面的一个工作，它从频率角度出发分析了RealSR与SISR之间的关键差异，基于差异所在设计了一种频率分离模块，为达到全频带的复原目的设计了一种区域自适应特征集成模块。所提方法在DRealSR数据上取得了SOTA性能。

Abstract

​ 常规图像超分往往聚焦于解决单一而均匀的退化(比如bicubic下采样)，这就导致了这些方法应用到真实场景(退化方式更为复杂)时性能的极具下降。真实图像超分的关键挑战在于：如何学习informative与content-aware的特征表达。

​ 该文作者提出了一种全频带区域自适应网络(Omni-frequency Region-adaptive Network, ORNet)以解决上述问题，作者将低频、中频以及高频特征合成全频带特征。具体来说，作者从频率角度出发设计了一个频率分离模块以分离不同的频率成分并用于补偿真实LR图像的不同频带的信息损失。与此同时，考虑到真实图像的不同区域具有不同的频率信息损失，作者采用动态卷积与空域注意力设计了一种区域自适应频率集成模块以复原不同区域的频率成分。最后作者通过充分的实验验证了所提方法在RealSR数据上的有效性。

​ 上图给出了RealSR与SISR数据的LR-HR在不同频率带上的信息差异对比。可以看到：SISR的退化主要存在高频成分，而RealSR的退化则存在于全频带。该文的主要贡献包含以下几点：

• 作者从频率角度分析了SISR与RealSR的本质区别，并回答了为何常规SISR方法不能很好的处理RealSR问题；
• 基于前述分析，作者提出了ORNet用于RealSR，它包含两个技术创新：(1) 频率分离模块；(2)区域自适应频率集成模块。
• 在多个RealS