真实世界图像的超分辨率重建（一） 概述

       对于图像超分辨率重建算法而言，基本上已经发展到顶峰了。自2014年SRCNN首次将深度卷积神经网络应用在图像超分辨率重建上，一举击败了线性插值、最近邻插值、双三次插值等传统超分辨率方法以来，ESPCN、EDSR、ResnetSR、BasicSR等等网络模型随着越来越深的网络深度，越来越多的网络参数，的确不断的刷新了图像超分辨率重建的PSNR、SSIM等指标。

       但是，图像超分辨率重建却一直没有真正面对它最初的设计初衷，那就是估计真实世界中的普化退化核。由于真实世界中的退化核会因为拍摄设备的型号、相机DIP流程、焦距、物距、镜头畸变等等诸多因素的影响，想要在真实世界中获得超分辨率网络训练需要用到的大型高、低分辨率图像数据是很困难的。这也是现在大多算法都是用人工合成的数据集的原因。但是人工数据大都采用bicubic插值等方式进行下采样获得低分辨率数据，这种简单的采样方式并被不能代表真实世界中的退化核，这也是诸多超分辨率算法在真实世界图像上应用效果很差的原因。

真实低分辨率图像                                 人工数据集训练的SR模型超分效果

从效果来看，就是没有效果。。

       所以，对于真实世界图像的超分，以往的基于人工数据集的学习方式肯定是非常困难了。

       但也不是绝不可能。最近也有一些算法试图在人工数据集中或者网络学习过程中人为的添加一些噪声和退化核，以缩小人工数据集与真实世界图像退化的距离，也有了一些效果。

       但最值得一提的还是Real SR一文的提出，该文由阿里达摩院的大佬所作，并动用了大量的人力物力构建出了世界上第一个最接近真实世界图像退化的真实数据集，该数据集由两个不同分辨率的设备，在室内室外等环境下进行了实验室精度级的拍摄，并经过人工配准对齐和一种配准对齐算法，基本上实现了像素级的HR 、LR对齐。

       由此，直接使用真实世界数据来进行超分辨率模型的训练成为了实现真实世界退化核估计的最可能的方式。

       我本人也做了一些相关的实验，并对该数据集进行了分析，不可否认，该数据集是目前最接近真实世界图像的数据集，用它训练出来的网络也对真实世界的图像超分重建效果比以往的任何数据集都要好：

                              

                                            Real SR数据集训练的SR模型超分结果

       但是，可以明显地看到图像出现了一些吉布斯效应，或者说是伪影。这也就说明了该数据集虽然接近真实退化，但是可能仍存在着LH之间的对齐差异，还有能够优化的空间。如何提升真实世界图像重建的性能或许是当下图像重建领域最值得做的一件事。