论文总结（二）—图像复原

一、图像复原概述

图像复原（image restoration）技术具有广泛的应用领域，近年来巳经成为国内外图像界研究的热点问题之一。在获取图像的过程中，有许多因素会导致图像质量的下降，我们称它为降质，如光学系统的像差、大气扰动、运动、散焦和系统噪音，它们会造成图像的模糊和变形。
图像复原的目的就是：利用退化过程的先验知识，对退化图像进行处理，使其复原成没有退化前的理想图像。
图像复原的基本思路：先建立退化的数学模型，然后根据该模型对退化图像进行拟合。
建模：图像复原模型可以用连续数学和离散数学处理，处理项的实现可在空间域卷积，或在频域相乘。
图像复原的基本任务：消除模糊。

二、图像复原数学模型

图1 图像退化模型
像的成像过程中存在很多的退化因素，例如大气流的扰动、物体与成像设
备之间的相对运动、成像设备聚焦不准确、周围环境的变化、传感仪器的自身质量等。这些退化因素导致整个成像过程中存在着噪声的干扰，并伴随着图像的畸变、失真等，想要恢复图像和超分辨率重建，需要先分析图像退化的基本原理。由于图像退化因素的复杂性，很难用一个完善的数学模型来精确描述，常以线性系统模型来近似描述这个退化系统。图1描述了一个常用的图像退化模型：
设f为高分辨率图像，g是我们观测到的图像,那么有
g=D*H*E*f+n;
其中，D表示下采样矩阵，H表示模糊核函数矩阵，E表示运动变形矩阵。
将运动、模糊和下采样组合可得DHE=H1，H1为退化函数矩阵。即：
g=H1*f+n
对其进行傅里叶变换有：
G=H1F+N
那么，一般来说：
在进行图像超分辨时，是为了对图像进行放大得到原始的高分辨率图像f，此时考虑D，而H、E和n不进行考虑；
在进行图像去燥时，一般只考虑n，而不考虑其他因子；
在进行图像去模糊时，一般只考虑H，而不考虑其他因子。

三、图像复原经典方法

1逆滤波复原法（一般不考虑噪声）
2维纳滤波
3约束最小二乘法

四、超分辨率复原方法

按照获取图像的不同方式，单帧图像超分辨率算法可以分为三类：基于学习的图像超分辨率算法、基于重建的图像超分辨率算法和基于插值的图像超分辨率算法。

基于插值的图像超分辨率算法：
这种算法的基本思想是：比较同一个条件下的几幅图像来进行估计，由此获得我们需要的图像间的亚像素运动估计信息，通过插值的方法将这些信息添加到各个高分辨率图像釆样点上的像素值当中。
常用的集中插值方法包括：非均匀插值(Non-uniform interpolation )，如最近邻内插、双线性内插、双三次样条插值等。

基于重建的图像超分辨率算法
这种算法成功的关键是在配准和重建这两个基本步骤，首先我们来看配准的过程，假设输入的多幅低分辨图像全部都满足了数据一致性的这种约束条件，如果假设成立，那么就可以得观测图像和作为参考的低分辨率图像这二者在亚像素上的相对运动情况。接下来我们讨论一下重建的过程，在这个过程中对于先验知识的利用显得尤为重要，利用这些先验知识优化重建后的图像，得到的目标图像质量也相对较高。现在出现的很多超分辨率算法也都是在这种思想的基础上发展起来的。
此类方法常见的算法有迭代反投影（ Iterative Back Projection ）、最大后验概率（MAP）、凸集投影（POCS）等。

基于学习的图像超分辨率算法
这种算法的基本思想是，低分辨率图像和高分辨率图像之间存在着一些关系，而我们正是利用学习这些关系来复原图像，使其质量得到提高。
基于学习的超分辨率复原技术的具体实现步骤可以分为以下个方面

1. 使用退化模型对高分辨率图像进行模糊变化，生成一个原始图像的训练 集；
2. 将高分辨率图像块中的信息和低分辨率图像块中的信息一一对应，通过一定的算法进行学习，从而获取先验知识，建立相应的学习模型；
3. 通过相应的数学模型，在建立的模型中搜索相应的高分辨率图像块，前提是这些图像块与输入的低分辨率图像块形成最佳匹配，最终得到复原出的高分辨率图像。

常用的学习算法主要有以下三种：基于实例的算法、基于邻域嵌入的方法，支持向量机的方法。

五、评价指标

评价指标一般有PSNR/SSIM等。

参考文献：

1. 基于深度学习的图像超分辨率重构.雷倩
2. 图像复原方法研究.潘丽丽
3. A Universal Remote Sensing Image Quality Improvement Method with Deep Learning.Yancong Wei