图像超分辨——传统方法（个人总结）

SimonCoder

已于 2024-06-17 14:51:10 修改

阅读量2.2w

点赞数 12

分类专栏： -----计算机视觉计算机视觉 # |--图像超分辨文章标签：图像处理

于 2019-11-07 22:16:05 首次发布

本文链接：https://blog.csdn.net/SimonCoder/article/details/102956589

版权

-----计算机视觉同时被 3 个专栏收录

7 篇文章 2 订阅

订阅专栏

计算机视觉

6 篇文章 0 订阅

订阅专栏

|--图像超分辨

2 篇文章 0 订阅

订阅专栏

根据自己的经验总结一下图像超分辨的方法，图像超分辨（Image Super Resolution）可以分为传统方法和深度学习方法，传统方法一直都在出paper，最近几年深度学习在处理图像、文本、语音的任务上表现出了一定的优势，所以基于深度学习做超分辨在最近几年发了很多paper，包括最早地将CNN用于超分辨，后来的ResNet，GAN等。

lena的原始图像为512×512，lena x4为1/4原图的低分辨图像，使用超分辨重构方法重构为与原始图像同样尺寸的超分图像，PSNR/SSIM均在RGB空间得到。

传统超分辨方法：

1、插值方法

最常用的插值方法包括bilinear、bicubic、lanczos、nearest等（所有符号都是使用matlab的imresize插值方法的符号），这些图像重构（超分辨）方法都只使用低分辨率图像自身的像素信息，而且每一个位置的像素点都是基于该像素周围的信息进行插值的，所以重构图像都是非常模糊的。重构的PSNR/SSIM为28.626/0.775，这个值是比较低的，可以看到图像是很模糊的。

2、基于稀疏表示（字典学习）的方法

文章Image Super-Resolution as Sparse Representation of Raw Image Patches（CVPR2008）、Image Super-Resolution Via Sparse Representation（TIP2010）将稀疏表示方法用于超分辨任务。该方法（ScSR）将低分辨率图像和高分辨率图像表示为字典 $D$ 与原子 $\alpha$ ，也就是高分辨图像表示为 $x=D_h\alpha$ ，低分辨率图像表示为 $y=D_l\alpha$ ，其中 $x,y$ 分别为高分辨率图像和低分辨率图像， $\alpha$ 为原子表示。ScSR首先使用高-低分辨率图像集训练字典 $D_h,D_l$ ，这个训练的时间是比较长的，但由于是离线训练，可以不考虑时间，训练完字典后，就可以使用低分辨率图像得到 $\alpha$ ，因为假设高和低分辨率图像的 $\alpha$ 是近似的，所以随后就可以得到重构图像。以下是ScSR得到的重构图像，可以看到评测指标PSNR/SSIM相比直接插值有所提高，部分细节有所恢复，但有明显的锯齿。

随后的一些基于稀疏表示的方法很多都是以ScSR为基础，再加一些正则约束等。

更多文章：

Image Super-Resolution With Sparse Neighbor Embedding（TIP2012）

4、Example-Based的方法

文章Super-Resolution from a Single Image（ICCV2009）（Glasner）只利用低分辨率该图像自身的信息进行重构，文章Glasner中的一张图很清晰地解释了Example-Based方法的原理：

Glasner文章将Example-base超分辨方法与Classical超分辨方法结合起来， $L$ 为低分辨率图像， $H$ 为恢复的高分辨率图像，首先构造一个基于 $L$ 的下采样图像金字塔（青色图像们），对于 $L$ 中红色的patch，记为 $p$ ，在 $L$ 的下采样图像中找最近邻patch，记为 $p_{-1}$ ，也就是 $I_{-1}$ 中的红色patch，可以找到 $L$ 中对应于 $p_{-1}$ 位置的patch（ $L$ 中的橙色patch），将这一patch作为 $L$ 的超分图像patch，也就是 $I_1$ 中橙色patch。Glasner方法要求图像中要有很多大小不一但形状相似的区域，如建筑物，这种图像恢复效果比较好，而且低分辨图像中要保留一定的纹理，如果图像太小，纹理很粗糙，恢复效果自然也不好，Glasner主页展示了很多恢复效果图。下图lena的Glasner超分辨图像，由于低分辨图像太小，而且相同区域不是很多，所以恢复效果不佳。

文章Single Image Super-resolution from Transformed Self-Exemplars（CVPR2015）（SelfExSR）与Glasner的不同可以由SelfExSR的Figure.2说明，Glasner属于(b) Interal SR，SelfExSR属于(c)，(c)对patch作了Transformed，所以更加合理，找到相似patch的可能性更大，而(a) External方法中的patch来源于外部数据库（图像集）。