图像超分辨率重建技术汇总

目录

 

1、传统图像超分辨率重建：

       1.1、基于插值的图像超分：

              1.1.1、传统插值算法：

              1.1.2、拟合双三次曲面插值：

              1.1.3、边缘导向的插值算法：

              1.1.4、梯度引导的插值算法：

       1.2、基于重建的图像超分：

       1.3、基于学习的图像超分：

2、基于深度学习的图像超分：

---

1、传统图像超分辨率重建：

       1.1、基于插值的图像超分：

              1.1.1、传统插值算法：

              （1）最近邻插值方法：速度最快的插值方法。存在严重程度较高的失真问题。

              （2）双线性插值算法：能够有效改善灰度不连续的现象。因为双线性插值具有低通滤波的性质，往往丢失图像中表征边缘结构与纹理细节的高频信息，导致插值结果出现细节模糊的问题。

              （3）双三次插值算法：比前两种方法计算复杂度更大。

              （4）Lanczos插值方法

              （5）样条插值方法：

              1.1.2、拟合双三次曲面插值：

             创新性地采用逆采样的思路进行拟合曲面的构造，通过采样的反向求解完成拟合曲面的构造过程，有效提升插值图像质量。但是，算法需要构造大量二次曲面片，需要完成的复杂计算量较大，因而算法复杂度较高，计算速度较慢；对于纹理细节较为丰富的图像，仍然存在程度较为轻微的模糊现象，其所获得的插值图像质量仍有待提升。

              1.1.3、边缘导向的插值算法：

                2001年，Li xin等提出了一种基于协方差的边缘导向插值算法（NEDI），由输入的LR图像计算获得协方差，并此估计LR图像的局部协方差系数，然后利用局部协方差系数按照ＨR和LR之间存在的几何对偶性完成边缘区域的插值。

                为了降低算法复杂度，进一步提高计算速度，该算法只考虑在图像强度发生突变的边缘区域采用协方差进行相关运算，而考虑在图像强度平缓变化的部分直接采取线性插值方式来实现。

                NEDI适用于结构比较简单的图像中，但是在图像结构比较复杂的情况下，例如细节比较丰富的图像，则有可能会产生涡流现象。

              1.1.4、梯度引导的插值算法：

               图像梯度表征图像强度的变化，能够为增加图像中的未知信息提供估计的依据。

               图像强度沿着边缘的变化具有局部相似性，井[3]等提出了基于梯度引导的图像插值算法。梯度引导的插值算法首先利用 Sobel 算子来计算所输入LR图像的梯度，并通过双三次插值得到HR图像的梯度。然后，充分考虑梯度分布与像素分布所具有的空间相关性，局部性地调整梯度分布，最后采取不同的插值策略来求解HR图像具体的图像强度值。对于部分具有明锐边缘的图像处理效果较好。但是算法只是简单地由已知像素进行加权平均从而估计得到未知像素，插值策略过于简单，因此对于具有丰富纹理细节的图像，处理效果不尽人意。
 

       1.2、基于重建的图像超分：

       1.3、基于学习的图像超分：

2、基于深度学习的图像超分：

       2.1、SRCNN（Super-Resolution Convolutional Neural Network）：

       2.2、FSRCNN（Fast Super-Resolution Convolutional Neural Networks）：

       2.3、ESPCN（Efficient Sub-Pixel Convolutional Neural Network）：

       2.4、VESPCN（Video Efficient Sub-Pixel Convolutional Neural Network）

       2.5、VDSR（VeryDeep Convolutional Networks）

       2.6、DRCN（Deeply-Recursive Convolutional Network）

       2.7、RED(very deep Residual Encoder-Decoder Networks)

       2.8、DRRN（Deep Recursive Residual Network）

       2.9、LapSRN（Laplacian PyramidSuper-Resolution Network）

       2.10、SRDenseNet

       2.11、SRGAN（SRResNet，super-resolution generative adversarial network

       2.12、EDSR（enhanced deep super-resolution network）

       2.13、…

 

 

参考资料：

1、https://blog.csdn.net/gwplovekimi/article/details/83041627

2、基于梯度的图像插值放大算法研究

3、Jing G , Choi Y K , Wang J , et al. Gradient guided image interpolation[C]// 2014 IEEE International Conference on Image Processing (ICIP). IEEE, 2015.