数字信号处理理论算法与实现第三版 随书光盘_4K/8K电视中的超分辨率技术的频域算法是啥？看这篇就够了...

图像的超分辨率技术，就是指对低分辨率图像(Low Resolution，LR)，使用频域或者空域的相关方法，恢复出高分辨率图像(High Resolution，HR)的技术。超分辨率算法主要分为空域算法和频域算法。前面的文章中，大多是在空域的处理，今天就来聊一聊在频域的处理。

频域算法的基本原理

频率域的方法的主要依据数字信号处理相关理论，即在空域的欠采样，会导致频率域的频谱混叠，所以如果能够对低分辨率图像信息进行解频谱混叠，得到独立的频谱，就能够得到采样率较高的高分辨率图像。

频域算法的理论基础

此类算法主要基于傅里叶变换理论的三个方面：

• 平移特性；

• 原始高分辨率图像和低分辨率图像的离散傅里叶变换的频谱混叠关系；

• 原始高分辨率图像的带限特性。

频域算法的处理流程

多个欠采样且频谱混叠的的低分辨率图像，经过图像配准、运动模型估计、傅里叶变换，得到一个含有低分辨率图像的离散傅里叶系数、含有图像的运动平移参数和高分辨率图像连续傅里叶变换系数的方程组，求解以上方程组，得出高分辨率图像连续傅里叶变换变换系数，对其进行逆变换，得到高分辨率图像。

从上面的理论依据，可以看出，对于一个单帧图像，这种方法是不适用的。要去解开混叠频谱，就必须要对多个欠采样样本或多路信息同时进行处理，所以基于频域的算法更对的是对多帧图像进行处理。

频域算法的处理

刚开始的研究，假设的模型比较简单，不考虑噪声的影响，通过对多帧图像在频域进行处理，能够重建出高分辨率图像信息。

在此基础上，假设所有的低分辨率图像的噪声和模糊特性是相同的，使用最小二乘法去处理有模糊和噪声的图像，取得了一定的效果，但是模糊的引入影响了解的稳定性。

之后，针对相同噪声和模糊特性所带来的问题，对低分辨率图像间的模糊特性不同的情况进行了研究，提出了一种自适应的模糊和噪声模型，使得降质模型更加切合实际。

再向后面发展，有人从运算资源消耗和快速性方面考虑，使用离散余弦变换代替了离散傅里叶变换。

频域算法的优缺点

基于频域的算法的最大优点是理论简单，它基于傅里叶变换的混叠理论，容易理解。此类算法一般计算复杂度较低，且随着数字信号处理技术的发展，计算量也越来越小。随着计算机并行技术的发展，基于频域的算法能够很方便的实现并行处理。

但是此类算法的缺点也显而易见。在算法的图像降质模型中不存在点扩散函数，且在重建方法中，不考虑运动模糊和观测噪声，或者假设图像的噪声和模糊特性相同，使得这个降质模型过于理想化。

且在建立的频域系数方程组中，平移运动参数等，对方程组的解影响较大，多幅欠采样图像之间的运动配准参数本身也比较难获得。

虽然在后面的研究中，对图像的噪声和模糊特性自适应等进行了研究，但是此降质模型还是只能应用在一些只存在全局平移运动的场合，对于稍微复杂的应用场合，处理效果不佳。

再加之数据之间缺少关联性，不能很好的利用先验知识，所以大家都将将研究重点从频域转到了空域。

参考资料：

[1] Tsai RY, Huang TS. Multiframe image restoration and registration[J]. Advances in Computer Vision and Image Processing, 1984.

[2] Rhee S, Kang MG. Discrete cosine transform based regularized high-resolution image reconstruction algorithm[J]. SPIE Journal Optical Engineering, 1999.