超分辨率图像复原技术是一种通过信号处理提升图像分辨率的技术，广泛应用于视频处理、模式识别、遥感成像、天文学和医学成像等领域。序列图像的超分辨率复原利用帧间信息，相比单帧图像处理，能提供更好的复原效果。主要算法包括频域法和空域法，如非均匀插值、迭代反投影、凸集投影、最大后验估计和滤波器法。未来研究方向包括更精确的运动估计算法、新退化模型的开发、盲超分辨率复原、压缩域复原以及算法的实时处理和硬件实现。
关键字：超分辨率，图像复原，图像处理
Abstract: Super-Resolution image restoration technique is to estimate one or more Super-Resolution restoration images from a low resolution and degraed image quence via signal processing ,which can feeds the limintion for hadware realization and costless. Super-Resolution restoration has many applications, such as video, remote sensing imaging ,and so on .The application of the technique is introduced, then main related algorithms are overviewed,and the direction for the future is given at last.
Key Words: super resolution；image reconstruction；image processing
1. 引言
实际成像系统（如CCD、CMOS图像传感器、红外成像仪等）采集的数字图像，一方面受传感器排列密度等硬件实现条件和成本的限制，采集的图像分辨率较低，另一方面在成像过程受诸多因素影响（如光学系统相差、大气扰动、运动、离焦、系统噪音等[3]）还会使图像发生模糊、变形等质量退化现象。传统的图像复原技术可从一定程度改善退化图像的质量，但并不改变复原图像的分辨率，另外，高分辨率图像在诸多领域有着重要应用，超分辨率复原技术（Super-Resolution，SR）即是在此背景下提出来的。所谓超分辨率复原，即是通过信号处理的方法，在提高图像的分辨率的同时改善采集图像质量。
超分辨率复原技术最初只对单幅图像进行处理，其核心思想是试图通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率，该种方法由于可利用的信息只有单幅图像，图像复原效果有着固有的局限。序列图像的超分辨率复原技术旨在采用信号处理方法通过对序列低分辨率（Low-Resolution，LR）退化图像的处理来获得一幅或者多幅SR复原图像。由于序列SR复原可利用的帧间额外信息，比单幅SR复原复原效果更好，目前已成为该领域内的研究热点。
本文先对序列图像SR复原技术的应用作简要介绍，然后介绍了目前的主要实现算法，最后指出了该领域的发展方向。
2. SR复原应用概况
超分辨率图像复原技术可改善由于图像离散化、退化引起的分辨率下降，弥补原有图像分辨的不足，突破图像获取手段分辨率的极限，发掘现有图像数据（如多角度、多时相、多平台遥感图像，序列图像等）的潜力，因此，超分辨率图像复原技术的研究具有十分重要的意义，其在以下领域有着重要的应用价值和广阔的应用前景[7]。
2.1.视频处理领域
目前视频图像正在向高清电视信号（HDTV）方向发展，因此，迫切需要采用SR技将普通NTSC格式的视频图像转换为高清电视信号。另一方面，普通拍摄的视频数据在播放时由于人眼的视觉暂留效应，使得人眼对快速播放的视频图像噪声不敏感，但当打印具体帧时，效果就会变得很差。采用序列SR复原技术，可以获得单帧或多帧的SR图像，因此，SR复原技术可用于视频帧的打印，这在视频捕捉方面有着重要作用[7]。另外，目前的视频多为压缩视频，压缩视频的SR复原技术对提高压缩视频的质量其着重要作用[52][53]。另外，SR复原技术还可以与马赛克处理等采用视频处理方法配合进行视频处理[54]。
2.2模式识别领域
超分辨率图像复原可提高可以提高采集图像的质量，能够提供更多更准确的图像细节信息，从而可以提高模式识别的精度，对一些模式识别算法性能的提高起着重要作用。比如，在脸识别领域，学者已经基于SR图像复原技术对此开展了大量的研究工作，取得了较好的效果，见文献[55]-[57].此外，SR复原技术在视频监控[58]系统中可对感兴趣区域进行缩放，进一步提高监控目标识别的准确性，此在交通、司法等方面有着重要作用。
2.3.卫星、遥感成像领域
目前，遥感图像数据量存在着一个“既多又少”的矛盾——获取的数据量多，有用的信息却很少。地球资源卫星每天大约绕地球旋转 14 圈，18 天左右就能对地面同一区域覆盖一次。这样，获得同一地区多次重复的图像数据量是巨大的，但由于成像设备的硬件技术原因，往往得不到想要的更高分辨率图像；同时，由于高分辨率相机造价昂贵，体积和重量都很大。因此，若能利用低分辨率相机成像，再对这些重复图像数据进行超分辨率复原，生成高分辨率图像，便能够降低风险和成本，同时提高现有图像资料的应用价值和军事目标的识别能力。为识别植被的分布和大体类型、地域的地质结构、地表水的区域范围等不同的环境现象，卫星获取的图像是包括红外线、可见光、紫外线在内的多频谱信息，因此对图像的处理和分析便成为数据处理分析的重要基础。图像处理是将资源和气象等信息图像化。而图像分析主要是利用多频谱信息的统计模式分类，进行土地利用区的划分、气象、环境污染及资源的调查、城市规划等任务。地球资源卫星可以获取多频谱图像，通过对这些图像进行一系列的处理，可以获取不同的有用信息。但是由于现有成像技术的限制，图像的分辨率限制了图像的判别和定位精度。为获取高质量高分辨率图像，单纯依靠提高物理设备的采样率和精度是不实际的。即便存在可能性，其资金的代价也是昂贵的。相对来说，通过多帧低分辨率图像的处理获得高分辨率图像，不仅是可行的，而且是经济的。超分辨率图像复原技术采用现有的遥感图像就能够达到所需要的对地物的识别精度。因此过去依靠光学处理图像的领域，正在逐步变成以计算机处理为主流[7]。
2.4.天文学领域
天文学家为了更好地认识和理解宇宙，正努力在他们的天文学图像中寻找更多更好的细节。通过增加望远镜镜面或无线电天线的大小，可以获得较好的细节，或者通过后处理的方法对收集的图像进行细节复原。在有限的预算下，使用后处理技术比建造昂贵的新设备更为实际[7]。
2.5.医学成像领域
医学上不管是基础医学还是临床医学，都需要大量的医学图像处理。人们所熟知的 X 射线图像、显微镜图像、放射线同位素图像、超声波图像、磁共振成像（MRI）等各种各样的图像，都成为辅助诊断中模式识别的对象。所以从该领域研究的开始，图像的质量和精度以及图像的重建问题，就已经成为医学图像研究的重要目标之一。尤其是在染色体分析、血球的自动分类、胸部 X 射线照片的鉴别、眼底照片的处理、利用荧光染料的血管造影分析等方面都有着广泛的应用。CT 技术就是利用多方向投影实现断层图像重建的成功实例。医学检测中往往需要通过 CT 技术识别并确定出病体(如肿瘤)的精确位置及详细情况：如阴影的边缘、异物占位的大小及位置等。由于硬件设备及现有成像技术的限制，还不能够获取满足高要求的高清晰图像。由于 CT 技术的特殊机理，超分辨率图像复原技术可以在该领域获得重要应用。采用超分辨率技术对 CT 图像的质量改善和变换以及图像精度的提高等仍然是今天医学图像处理中正在讨论的课题[7]。另外，磁共振成像&
最低0.47元/天 解锁文章
扫一扫
999
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
