Learning a Single Convolutional Super-Resolution Network for Multiple Degradations（CVPR2018） 阅读理解

       我们提出了一个简单但有效且可扩展的deep CNN框架为SISR。该模型超越了广泛使用的双三次退化假设，适用于多种甚至是空间变化的退化，为开发一种实际应用的基于cnn的超解析器迈出了实质性的一步;

       针对LR输入图像、模糊核和噪声之间的维数不匹配问题，提出了一种新的维数拉伸策略。虽然这个策略是为SISR提出的，但它是通用的，可以扩展到其他任务，如去模糊。如下图，感觉这个最具有创意，具体效果不知道好不好。

      研究结果表明，基于合成训练数据的卷积超分辨率网络不仅能与现有的合成LR图像上的SISR方法相比较，而且能在真实LR图像上产生视觉上可信的结果。

     与图像去模糊不同，SISR的模糊内核设置通常比较简单。 最常用的选择是用标准差或核宽作为参数的各向同性高斯模糊核.有的文章 各向异性高斯模糊核也被使用。 更复杂的模糊内核模型用于去模糊任务，如运动模糊。 实验和理论分析表明，精确模糊核的影响比复杂图像先验[12]的影响要大得多。具体地说，当假定的内核比真实内核更平滑时，恢复的映像将被过度平滑。大多数SISR方法实际上都支持这种情况。另一方面，当假定的内核比实际内核更锋利时，将出现高频振铃伪影。

     由于低分辨率，LR图像通常也有噪声。直接超分辨噪声输入而不去除噪声，会放大不需要的噪声，造成视觉上的不愉快结果。要解决这个问题，最直接的方法是先去噪，然后提高分辨率。然而，去噪预处理步骤容易丢失细节信息，从而影响后续的超分辨率性能[43]。因此，联合进行去噪和超分辨率是非常可取的。

      现有文献考虑了两种类型的下采样器，包括直接下采样器[11，和双三次下降采样器[7,12,14,15,47，52)。本文考虑了双三次下降采样器，当k为核时，噪声水平为零，即Eqn。(1)为广泛使用的双三次退化模型。需要指出的是，与一般退化模型中的模糊核和噪声不同，降采样器假设是固定的。

      这是一个具有挑战性的任务，因为模糊核和噪声的退化空间相当大。 首先，我们的方法考虑一个更一般的退化模型。其次，我们的方法利用了一种更有效的方法来参数化退化模型。

 

Why not Learn a Blind Model？

      盲模型并没有预期的那么好。 首先，当blur内核模型很复杂时，性能会严重恶化，加剧像素平均问题。 其次，没有专门设计体系结构的盲模型泛化能力较差，在实际应用中表现较差。

     相比之下，多重退化的非盲模型在像素平均问题上的损失较小，具有较好的泛化能力。 首先，退化映射包含扭曲信息，从而使网络具有空间转换能力。 也就是可以将由模糊核和噪声水平引起的退化映射作为空间变压器的输出。另外作者采用退化map， 非盲模型易于推广到不可见退化，并具有控制数据保真项和正则化项之间权衡的能力。

 

  定义模糊内核和噪声级别范围很重要！

    对于模糊核，我们采用具有固定核宽的各向同性高斯核模型，并在SISR应用中得到了实际可行的结果， 为了进一步扩展退化空间，我们还考虑了一个更一般的内核假设，即,各向异性高斯函数，其特征是均值为0， 不同的协方差矩阵的高斯概率密度函数，这种空间大小由特征向量的旋转角度和特征值缩放决定。

     在本文中，我们提出了一种有效的超分辨率网络，它具有高可扩展性，可以通过一个模型处理多个退化， 该超分解器以LR图像及其退化图为输入。 通过对退化参数进行简单的维数拉伸，得到退化图。 合成LR图像的实验结果表明，所提出的超分辨算法不仅能得到最优的双三次退化结果，而且对其它退化甚至空间变异退化都有较好的处理效果。

https://github.com/cszn/SRMD