超分辨率图像理解

参考： http://www.ilovematlab.cn/viewthread.php?tid=111929&extra=page%3D1%26amp%3Bfilter%3Dtype%26amp%3Btypeid%3D1

(感谢原作者，这里仅作整理参考用途)

首先，超分辨率是干啥用的。一个熟悉电影镜头：特工们（电影007，碟中谍里不少）坐在电脑前，把监控视屏不断放大，坏蛋的脸居然能越来越清晰。 不知道你是否会质疑，这样不停的放大照片，怎么脸部会越来越清晰呢，应该是模糊才对呀。 对！模糊才对。对于图像的放大，我们常用的zoom in， zoom out 是采用“插值”算法，线性插值，双线性插值等等，使得放大的图像尽可能的清晰。 然而，当放大倍速过大，插值算法就难免使得图像模糊了，毕竟原始图像的原始信息是有限的。那么，超分辨率就可以解决这个问题，简单的说：超分辨率就是用一组低分辨率的图像，去重建一张或者一组高分辨率的图像。

其次，超分辨率的原理： “采样定理”。我们都知道采样的香农定理。也就是采样频率必须大于或等于模拟信号中最高频率成份的两倍。 数字图像，是通过ccd等感光元件，将自然图像采样而来，无论多好的相机，多高的分辨率，都是模拟信号的离散化。 其中就带来信号失真问题，也就是欠采样。欠采样在频率域中的解释，可以说是高频成分的丢失。由于在一组低分辨率的图像中，图像之间存在一定的差异，在超分辨率研究中，我们只关心由于采样过程中产生失真而带来的差异。 利用这些差异，我们把那些图像采样过程中，丢失的高频部分找回来， 从而得到一个高分辨率图像。这个就是超分辨率。

第三， 怎样实现超分辨率。超分辨率的实现，往往是利用一组图像的信息。 这里给出一个简单的例子：假设现在利用一个相机拍照得到一张没有运动成分的N*N图像，同时假设相机的CCD感光元件每个像素是正方形，尺寸是1*1毫米（这里是假设，确切CCD中一个像素多大，还需考证）。 此时，我们将相机依次向上，向下，向左，向右移动0.5微米的物理位移，拍摄得到4张图片。 OK，现在我们手里有了5副图片，5张图片之间有0.5像素（像素可以是小数，这个在图像处理中叫“亚像素”）的平移。 这样，在原始图像的每一个像素的上，下，左，右0.5个像素距离上，我们可以在平移后的4副图像中找到。这样，我们就可以将原来的图像，至少放大了3倍。而放大后的图像，绝不是单纯的插值，而是真正意义上的信息填补。

第四， 超分辨率难吗？ 难。 在第三点里，我们用一个简单的例子说了一下超分辨率的原理。在实际中，一组图像中，可能有运动物体，有噪音，还有几何变换等等，这些都需要我们事先进行处理。很多超分辨率问题，需要用到运动估计，图像配准，统计学等一些技术。当然，挑战就是机遇， 希望大家能在这个领域里有所成绩。

最后，推荐几篇关于超分辨率的survey，无论是初学者还是从事这个研究朋友，都可从中获益。

1、 Sung Cheol Park; Min Kyu Park; Moon Gi Kang; , "Super-resolution image reconstruction: a technical overview," Signal Processing Magazine, IEEE , vol.20, no.3, pp. 21- 36, May 2003

2. Elad, M.; Feuer, A.; , "Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images," Image Processing, IEEE Transactions on , vol.6, no.12, pp.1646-1658, Dec 1997

3. Freeman, W.T.; Jones, T.R.; Pasztor, E.C.; , "Example-based super-resolution," Computer Graphics and Applications, IEEE , vol.22, no.2, pp.56-65, Mar/Apr 2002