基于深度学习的SISR超分辨:四类
重建效率方法:注意模型大小,执行时间,乘法累加数(Mult Adds)测量模型计算。总结:模型性能和模型复杂性之间的权衡仍然需要关注。
重建精度方法:PSNR ,SSIM
峰值信噪比(PSNR)与MSE高度相关,用MSE损失训练的模型预计具有较高的PSNR分数,虽然较高的PSNR通常表明构造质量较高,但它只考虑了每像素MSE,这使得它无法捕获感知差异
结构相似性指数测量(SSIM):SSIM是另一种流行的评估方法,它基于感知基础测量两幅图像之间的相似性,包括结构、亮度和对比度。与计算像素级绝对误差的PSNR不同,SSIM表明空间相近的像素之间存在强烈的相互依赖性。这些依赖性从视觉上携带着与结构相关的重要信息。
感知质量方法
进一步改进方法
数据对于数据驱动模型,尤其是基于DL的SISR模型,始终是至关重要的,以实现有希望的重建性能(图3)。如今,工业界和学术界已经为SISR发布了几个可用的数据集。
最近,针对SISR任务提出了许多数据集,包括BSDS300[17]、DIV2K[16]和Flickr2K[15]。同时,还有许多测试数据集可用于有效测试模型的性能,如Set5[25]、Set14[26]、Urban100[27]和Manga109[28]。
在这些数据集中,DIV2K[16]是模型训练中使用最广泛的数据集,它是一个高质量的数据集。它包含800个训练图像、100个验证图像和100个测试图像。Flickr2k是一个大型扩展数据集,包含来自Flickr的2650个2K图像。RealSR[19]是第一个真正收集到的具有成对LR和HR图像的SISR数据集。除了列出的数据集之外,在其他计算机视觉任务中广泛使用的一些数据集也用作SISR的补充训练数据集,例如ImageNet[31]和CelebA[32]。此外,将多个数据集(如DF2K)结合起来进行训练,以进一步提高模型性能也得到了广泛应用。
基于此降解公式,提出了三种最广泛使用的降解模式:BI、BD和DN。其中,BI是模拟LR图像最广泛使用的降级模式,本质上是一种双三次下采样操作。对于BD,用大小为7×7的高斯核(标准偏差为1.6)模糊HR图像,然后用比例因子×3进行下采样。为了获得DN模式LR图像,对HR图像进行双三次下采样(比例因子为×3),然后在图像中加入噪声级为30的高斯噪声。
上采样机制可分为四种类型:pre预上采样SR、post后采样SR,渐进上采样SR.和迭代上下采样SR.