重建图像 matlab_图像超分：RealSR

paper ​csjcai.github.io csjcai/RealSR​github.com

现有大多SISR方法是在模拟数据集(LR通过对HR执行简单的双三次下采样得到)上进行训练与评估。然而，真实世界的LR图像往往更复杂，因此在模拟数据集上训练的模型应用到真实数据是性能会出现下降。
作者构建了一个真实超分数据集(LR-HR通过调整数码相机的焦距得到，然后采用图像配准算法进行不同分辨率图像的对齐)。考虑到该数据中的降质核的非均匀性，作者提出一个机遇拉普拉斯金字塔的核预测网络(LP-KPN)，它可以有效的学习逐像素核以重建HR图像。作者通过实验证实： 相比模拟数据，基于RealSR的SISR具有更好的视觉效果。作者同时还提到：尽管该数据集仅采用了两个相机采集(Canon 5D3, Nikon D810)，但其训练模型在其他相机(Sony a7II)和手机采集的数据上的泛化性能仍然很好。

Abstract

​ 有鉴于已有模拟数据训练的SISR模型在真实场景的性能受限问题，作者认为构建一个真实超分数据集很有必要性。作者采用一种灵活而易于复现的方法构建了一个真实的RealSR数据集，对于同一场景采用同一相机以不同的焦距采集数据。

​ 然而，除了视场角变化外，调整焦距还会导致其他挑战：比如关心漂移，尺度因子变化、曝光时长以及光学畸变等。为解决这类问题，作者还提出一种有效的图像配准算法以逐渐对齐图像对，方便用于SISR模型的端到端训练。

​ 该RealSR数据集包含两个数码相机(Canon 5D3, Nikon D810)拍摄不同的室内与室外场景，为SISR的实际应用提供一个好的训练与测试基准。相比已有的模拟数据集，RealSR数据的降质模型更为复杂(降质核实空间可变的，它随景深变化而变化)。

​ 在此基础上，作者还训练了一个基于核预测网络的SISR模型。核预测网络已被广泛应用与图像降噪、图像去模糊以及视频插帧领域。KPN的内存占用为随着核尺寸增大而指数提升，在KPN基础上，作者引入图像处理中拉普拉斯金字塔方案得到本文的LP-KPN模型，它可以用小尺寸核学习更丰富的信息。下图给出了所提数据集以及方法的效果示意图。