图像超分综述 超长文一网打尽图像超分的前世今生 (附核心代码)(2)

文章目录

• • 一、目的
    • 二、研究背景
    • 三、存在的问题
    • 四、研究现状
    • 五、各算法创新点及核心代码总结
    • • SRCNN
        • ESPCN
        • VDSR
        • DRCN
        • DRRN
        • EDSR
        • SRGAN
        • ESRGAN
        • RDN
        • WDSR
        • LapSRN
        • RCAN
        • SAN
        • IGNN
        • SwinIR
    • 六、结语与讨论 (个人理解)
    • • 图像超分的困境
        • 图像超分的未来
        • 其他

声明：

(1) 本文由博主
Minnie_Vautrin 原创整理，经本人大修后上传。

(2) 本文参考文献与资源众多，由于部分已经无法溯源，若有侵权请联系删改。

一、目的

1. 提高图像的分辨率；
2. 丰富图像的细节纹理。
   

二、研究背景

1. 智能显示领域：普通摄像头拍摄的图像分辨率一般偏低，不能满足高分辨率的视觉要求。目前 4K 高清显示逐渐走向普及，但很多成像设备拍摄的图片以及老电影的像素分辨率远不及 4K。
2. 医学成像领域：医学仪器采集得到的图像分辨率通常偏低，高分辨率医学影像有利于发现微小的病灶。
3. 遥感成像领域：遥感成像时卫星或飞机与成像对象之间的距离较远，且受限于传感器技术以及成像设备成本等，采集的图片分辨率低，从而导致目标模糊不清，不利于对图像进行分析。
4. 城市视频监控领域：公共监控系统的摄像头受限于成本等因素往往是低分辨率的，而低分辨率的图片或视频不利于后续的人脸识别、车牌识别和目标结构化特征识别等任务 。
5. 图像压缩传输领域：为了降低海量数据对传输带宽的压力，图像或视频数据在传输时会进行压缩处理，比如降低图像的分辨率。但是人们对这些图像或视频的清晰度要求是很高的，因此在接收端就需要使用图像超分辨率技术来提升分辨率，尽可能重建出原有的高清图像或视频。

三、存在的问题

1. 退化模型的估计：实际解决图像超分辨率重建问题的最大挑战是对退化模型的精确估计。估计退化模型就是在对图像进行超分辨率重建的同时从低分辨率图像中估计出图像的运动信息、模糊信息及噪声信息。现实中由于缺少数据，仅仅从低分辨率图像估计退化模型是很困难的。之前大部分学者都将研究重点放在如何设计准确的图像先验上， 而忽视了退化模型对结果的影响。虽然许多做法都己经取得了很好的重建结果，但是在自然图像上的表现却差强人意，这是由于自然图像的退化模型与算法中假定的模型不相符导致的，这也是为什么现有成熟的算法无法得到推广的主要原因。
2. 计算复杂度和稳定性：制约图像超分辨率重建算法不能得到广泛应用的因素还有算法的计算复杂度和稳定性。现有的算法基本是通过牺牲计算代价来提高重建结果的质量， 尤其当放大倍数较大时，计算量平方倍的增加，这导致图像超分处理非常耗时， 因而缺少实际应用的价值。最近，出现一些学者集中于研究如何又快又好地实现图像超分辨率重建。虽然，现有的做法能够重建出质量较高的图像，但是当输入图像不满足算法假定的模型时，就会产生错误的细节。尤其是当学习数据集不完备时，基于学习的方法由于缺乏知识，仅依靠学习模型的泛化能力去预测丢失的高频细节，错误细节的引入是不可避免的。所以，到目前为止现有的图像超分辨率重建算法不具备很强的稳定性。
3. 压缩退化和量化误差：在现有的图像超分辨率重建算法中，往往忽略的是图像的压缩降质。事实上，消费级的相机在最后一步输出图像时要图像进行压缩的。另外，受传输条件和存储空间的限制，互联网中出现的图像也都是经过压缩的。图像压缩给超分辨率重建问题带来的影响就是改变了图像的退化模型，而图像的退化模型在超分辨率重建中起到非常重要的作用。例如噪声，当图像被压缩时，降质图像中 的噪声不仅有加性噪声，还有与图像内容有关的乘性噪声。另外，大部分超分辨率重建的工作基于的成像模型都是连续的，并没有考虑数字量化的因素，然而实际处理的图像都是数字的，在量化的过程中不可避免地引入量化误差，而这个误差又会影响到图像的退化模型。
4. 客观评价指标：目前，评价超分辨率重建最常用的客观评价指标有峰值信噪比 (Peak Signal Noise Ratio, PSNR)、均方误差 (Mean Square Error, MSE) 和结构相似性 (Structural SIMilarity, SSIM)。这些指标需要用到真实的髙分辨率图像作为参考，评价重建后的图像与真实图像之间的相似度，相似度越髙则认为重建结果越好，反之就越差。然而，这些评价指标并不能充分地反映重建效果的好坏。在做实验比较时，会经常遇到重建图像的主观评价较高而客观评价较低的情况。另外，在对自然图像进行超分辨率重建时，真实的参考图像是很难获取到的，面对此类情况时这些评价指标就失去了作用。因而，研究一项无需参考图像的、与主观评价相一致的图像客观评价指标还是很有意义的。

四、研究现状

1. 基于插值：常见的插值方法有最近邻插值、双线性插值、双三次插值。这些方法虽然简单有效，但是都假设图像具有连续性，并没有引入更多有效的信息，往往重建结果的边缘和轮廓较为模糊，纹理恢复效果不佳，性能十分有限。
2. 基于重建：该类方法将图像超分辨率重建视为是一个优化重建误差的问题，通过引入先验知识来得到局部最优解。常见的基于重建的算法有凸集投影法 (Projection onto Convex Set, POCS)、 最大后验概率法 (Maximum A Posterior estimation, MAP)、贝叶斯分析方法 (Bayesian Analysis， BA)、迭代反投影法 (Iterative Back Projection, IBP) 等。虽然这类方法通过引入先验信息为图像超分辨率重建过程增加约束条件，进而获得了良好的重建效果。但是这些算法存在明显的收敛不理想等问题。
3. 基于学习：卷积神经网络 (Convolutional Neural Network, CNN) 由于其优秀的细节表征能力已经广泛应用于图像超分辨率重建研究，同时 Transformer 也在图像超分辨率领域取得成功。能够隐式地学习图像的先验知识，并利用学习到的先验知识生成效果更好的超分辨率图像。 该类方法中经典的包括 SRCNN、ESPCN、VDSR、DRCN、DRRN、EDSR、SRGAN、ESRGAN、RDN、WDSR、LapSRN、RCAN、SAN、IGNN、SwinIR等。基于学习的图像超分辨率重建算法在重建结果上取得了远超传统算法的优势，但由于对硬件设备和处理时间的高要求导致这些算法中被实际应用的寥寥无几。

五、各算法创新点及核心代码总结

SRCNN

论文：https://arxiv.org/abs/1501.00092
代码：
MatLab http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html
TensorFlow https://github.com/tegg89/SRCNN-Tensorflow
Pytorch https://github.com/fuyongXu/SRCNN_Pytorch_1.0
Keras https://github.com/jiantenggei/SRCNN-Keras

1. 创新点：基于深度学习的图像超分辨率重建开山之作。对于一张低分辨率图像，首先采用双三次插值 (bicubic) 的方法将其变换到真实高分辨率图像的大小尺寸。将插值后的图像作为卷积神经网络的输入，最后得到重建的高分辨率图像。
2. 主观效果：相比传统方法，SRCNN 重建后的图像质量更高。
3. 不足：(1) 依赖于图像区域信息；(2) 训练收敛速度太慢；(3) 网络只适用于单一尺度输入。
4. 核心代码：

import torch.nn as nn


class SRCNN(nn.Module):
    def \_\_init\_\_(self, inputChannel, outputChannel):
        super(SRCNN, self).__init__()
        self.conv = nn.Sequential(
             nn.Conv2d(inputChannel, 64, kernel_size=9, padding=9 // 2),
             nn.ReLU(inplace=True),
             nn.Conv2d(64, 32, kernel_size=1）,
             nn.ReLU(inplace=True),
             nn.Conv2d(32, outputChannel, kernel_size=5, padding=5 // 2),
        )

    def forward(self, x):
        out = self.conv(x)
        return out

ESPCN

论文：https://arxiv.org/abs/1609.05158
代码：
MatLab https://github.com/wangxuewen99/Super-Resolution/tree/master/ESPCN
TensorFlow https://github.com/drakelevy/ESPCN-TensorFlow
Pytorch https://github.com/leftthomas/ESPCN

1. 创新点：在末端直接使用亚像素卷积的方式来进行上采样。
2. 好处：(1) 只在模型末端进行上采样，可以使得在低分辨率空间保留更多的纹理区域，在视频超分中也可以做到实时。(2) 模块末端直接使用亚像素卷积的方式来进行上采样，相比于显示的将低分插值到高分，这种上采样方式可以获得更好的重建效果。
3. 不足：只考虑上采样的问题，对于如何学习更加丰富的特征信息和利用没有太多研究。
4. 其他：亚像素卷积实际上并不涉及到卷积运算，是一种高效、快速、无参 的像素重排列的上采样方式。由于处理速度很快，其直接用在视频超分中也可以做到实时。因此这种上采样的方式很多时候都成为上采样的首选，经常用在低级计算机视觉领域。
5. 核心代码：

import math
import torch
from torch import nn


class ESPCN(nn.Module):
    def \_\_init\_\_(self, scale_factor, num_channels=1):
        super(ESPCN, self).__init__()
        self.first_part = nn.Sequential(
            nn.Conv2d(num_channels, 64, kernel_size=5, padding=5//2),
            nn.Tanh(),
            nn.Conv2d(64, 32, kernel_size=3, padding=3//2),
            nn.Tanh(),
        )
        self.last_part = nn.Sequential(
            nn.Conv2d(32, num_channels \* (scale_factor \*\* 2), kernel_size=3, padding=3 // 2),