CVPR2019 | 步步为营！通过迭代式模糊核预测提高超分辨质量

基于迭代模糊核修正的盲超分辨方法

本文解读一篇由港中文(深圳)与哈工大合作发表在CVPR2019的超分辨方向的论文，该工作与几篇近年的文章密切相关，相关部分我已在文中做了必要的说明和解释，更多细节可点击此处深入了解。

  1.研究动机

超分辨研究旨在用低分辨图片恢复其对应的高分辨图片，它的反过程是图像从高分辨到低分辨的降级或者说退化，这一过程一般被抽象为：

其中LR代表低分辨图像，HR代表高分辨图像。该模型中有3个重要的组件：1) 模糊核k. 2)下采样操作s. 3)加性噪声n。低分辨图像可以看做低分辨图像被模糊核k做卷积之后再经下采样和噪声干扰后得到。现有的大多数超分辨方法都假设模糊核是已知的、固定的，甚至为了简化问题直接舍去，然而真实场景下的模糊核往往是未知而又复杂的。正确的模糊核估计对于超分方法至关重要，模糊核的假设偏差会使超分模型的性能大幅下降，产生过平滑或过锐利的结果，如图1所示。

图1. 模糊核预估偏差对超分结果的影响，横轴表示降级过程使用的模糊核，纵轴表示超分过程使用的模糊核。超分和降级过程使用的模糊核均为各向同性的高斯核，轴上的数字表示高斯核的标准差参数

预测本就未知的模糊核是一个病态的问题，直接预测的难度相当大。为此，作者提出了一种迭代式的预测方法IKC(Iterative Kernel Correction)，该方法用超分辨的中间结果修正模糊核k，并重复多次直至收敛，图2的实验结果表明了多次迭代的优越性。

图2. 超分图像的PSNR指标与SSIM指标随迭代轮数逐步提升

该论文的工作可总结为以下两点：

1. 提出了一个迭代式的模糊核预测框架IKC
2. 提出一种能够处理多种模糊核的新型超分模型SFTMD

  2.方法

  2.1 IKC整体框架

IKC框架由3部分组成，分别是：

1. 超分辨模型F: 输入低分辨图片和模糊核，输出超分图片
2. 预测器P: 输入低分辨图片，输出初始的模糊核
3. 修正器C: 输入当前epoch的模糊核与超分辨图片，输出模糊核的修正