超分辨模型介绍

来源于这篇综述https://arxiv.org/pdf/1902.06068.pdf

第1组-预先采样

在这种方法中，首先对低分辨率图像进行插值以获得“粗略”高分辨率图像。现在，CNN用于学习从插值的低分辨率图像到高分辨率图像的端到端映射。直觉是，与学习从低维空间到高维空间的直接映射相比，使用传统方法（例如双线性插值法）首先对低分辨率图像进行升采样，然后对结果进行细化可能更容易。

您可以参考论文第5页了解使用此技术的某些模型。优点在于，由于上采样是通过传统方法处理的，因此CNN仅需要学习如何优化粗略图像，这更简单。此外，由于此处未使用转置卷积，因此可能会绕过棋盘伪像。但是不利的是，预定义的上采样方法可能会放大噪声并引起模糊。

第2组-后上采样

在这种情况下，低分辨率图像将原样传递到CNN。在最后一层使用可学习的层执行上采样。
典型的后采样网络。

该方法的优点是在较低维空间中进行特征提取（在上采样之前），因此降低了计算复杂度。此外，通过使用可学习的上采样层，可以端到端地训练模型。

第3组-渐进式升采样

在上述组中，即使降低了计算复杂度，也仅使用了一次上采样卷积。 对于较大的比例因子，这会使学习过程变得更加困难。 为了解决此缺点，诸如Laplacian金字塔SR网络（LapSRN）和Progressive SR（ProSR）等工作采用了渐进式上采样框架。 在这种情况下，模型在每个步骤使用级联的CNN逐步以较小的比例因子重建高分辨率图像。
典型的渐进式上采样网络。

通过将困难的任务分解为更简单的任务，学习难度大大降低，并且可以获得更好的性能。 此外，可以整合课程学习等学习策略，以进一步降低学习难度并提高最终成绩。

第4组-向上和向下迭代采样

另一个流行的模型架构是沙漏（或U-Net）结构。 诸如“堆叠沙漏”网络之类的某些变体使用多个串联的沙漏结构，从而在上采样和下采样的过程之间有效地交替。
典型的上下迭代采样网络。 （资源）

在此框架下的模型可以更好地挖掘LR-HR图像对之间的深层关系，从而提供更高质量的重建结果。