认识多帧1：多帧图像复原算法研究

引言

阅读硕士论文，简单了解多帧图像处理算法，本篇为多帧图像复原算法

认识图片退化现象

主要分为两类：图像噪声和图像模糊，噪声具有随机性而模糊具有固定性。模糊根据成因可以分为两类：散焦模糊、运动模糊。散焦模糊由相机与景物之间的相对移动或者相机自动对焦不精确造成；运动模糊由成像传感器与被拍摄景物之间的相对移动造成，其中若取景相机和背景没有发生移动，而被拍摄物体运动，则图像存在局部模糊；若景物静止而相机发生晃动，则会出现全局模糊。手机相机拍摄的图片通常会出现全局模糊，毕竟手抖是自然的。
去除图像噪声和图像模糊使用的一般是不同的算法，两者也会相互影响，故实现噪声条件下的多图去模糊具有研究意义。

该论文的主要工作

在实际场景中采集到的多帧退化图像，在同一场景下多帧图像的协同复原算法和多帧图像存在相对运动时的多图复原算法。

图像复原和配准的基本理论

去噪

加性和乘性噪声。加性噪声一般只与外部干扰因素有关，乘性噪声与图像原始信号相关，随着图像信号的变化而变化。实际处理中，为了便于数学建模和分析，会将乘性噪声近似当做加性噪声，认为原始信号与噪声相互独立。噪声模型有很多种：高斯噪声、瑞丽噪声、伽马噪声、指数分布噪声、均匀分布噪声等等。
一般去噪使用中值滤波、均值滤波、高斯滤波等，该论文介绍了一种（2007 年，Buade）非局部均值滤波，基本思想是通过比较当前待滤波像素$z$的邻域与图片中的其他像素$y$的邻域的相似性，确定权值$w(x,y)$，获得滤波后的像素值：
$$NL[v][x]=\sum _{y\in I}w(x,y)v(y)$$
$v(y)$表示待滤波的图片在$y$点的像素值，$NL[v][x]$表示$x$点滤波后的值。
该非局部均值滤波算法的计算量大。

去模糊

模糊的本质为清晰图像和点扩散函数的卷积，求解点扩散函数是图像去模糊的关键。
经典算法：正则化方法。假设模糊模型具有线性不变性，这样将去模糊过程看做去卷积过程。
假设模糊模型具有线性不变性，图片受到加性白噪声，有模型：
$$u_0(X)=k\ast u(X)+n(X),X=(x_1,x_2)\in R^2$$
假设图像$u$清晰有界，全变分，由贝叶斯原理、最大后验概率估计：
$$\hat{u}=maxProb(u|u_0,k)$$
由对数能量函数$E=-logp$，则求解方法也可以表示为：
$$\hat{u}=minE[u|u_0,k]$$
$$Prob(u|u_0,k)=Prob(u_0|u,k)p(u|k)/Prob(u_0|k)$$
对于给定的图像$u_0$，$Prob(u_0|k)$是一定的，故问题可以转化为求解$Prob(u_0|u,k)p(u|k)$，且一般情况下图像与模糊模型不相关，故先验模型$p(u|k)=p(u)$，所以：
$$E[u|u_0,k]=E(u)+E(u_0|u,k)$$
获得上述转化后的问题后选择正则化参数、考虑关于图像域被定义的范围，使用正则化方法求解即可。

配准

配准即将待配准的图像和基准图像的空间同一位置对应起来。一对待配准的图片的相对空间位置主要有平移、旋转、缩放和扭曲能全局运动形式；与之相对的局部运动主要是指图像中的某些物体相对于图像空间的一种相对运动。局部运动会对图像配准寻求的空间变换产生一定干扰，影响配准的准确性，故算法需要克服局部干扰，准确获得空间变换关系。
配准方法可做分类：应用方向、成像模式、自动化程度以及配准方法所使用的图像信息类别等。
配准算法的四个组成要素：图像的特征空间、搜索空间、搜索策略与匹配相似性度量。

1. 特征空间：图像关键信息集合；
2. 搜索空间：从待配准图像到基准图像的变换空间；
3. 搜索策略：求取搜索空间的最优匹配；
4. 相似性度量：距离函数、代价函数，距离、角度、相关度量。

复原算法质量评估

包括：主观评价、客观评价（信噪比(SNR)、峰值信噪比（PSNR）、均方差）等。

多帧图像的协同复原算法

理解问题

数字图像处理中，采用拓展函数（PSF）和加性噪声分析包含噪声的模糊图像，$$g=u⨂h+n$$如图：

对于同一场景的多帧模糊图像，模型为：
$$g_i=u⨂h_i+n_i$$
同一场景的多帧图像去模糊算法能够挺过利用多图之间的相关性弱化问题的欠定性，提高复原精度。

噪声对去模糊的影响

图像噪声会导致去模糊时产生振铃效应。为了抑制振铃效应，一些基于正则化的方法被提出，但是针对噪声影响的各种方法在正则化的过程中都会有一个折衷，对噪声的抑制强度取决于图像细节被滤除的程度，当噪声强度高于5%时，调整正则化权重将带来图像细节的严重损失。

图像复原中的噪声模糊因素分离

由于去模糊算法对噪声不具有良好的鲁棒性，故如果能够将去噪声和去模糊两个过程进行分离，减少噪声对去模糊的影响，应该就能够找到一个较高质量的复原图像。
该论文对于强噪声环境提到预处理、后处理两种方式，验证无论预处理还是后处理，对于强噪声的图片去模糊的效果都不佳，然后提出了如下的迭代处理方法：

该方法的确获得了更好的视觉效果。
注：应该会存在计算量的问题

分块配准的多图协同复原算法

这是在上述迭代复原的图片的基础上，考虑实际拍摄情况中通常存在相对运动，通过快速对多帧图片进行配准，以增强上述多图协同复原算法在实际场景中的应用性。
图像协同复原，本质上为引入辅助变量，将图像去噪和去模糊分开，再通过已有的去噪、去模糊算法分别处理，使得去噪、去模糊算法在迭代过程中相互促进，互相补充，最终得到高质量的复原图像。

非局部正则化去噪

该算法在自然情境中不考虑运动模糊，为了使正则化去噪算法在具有局部运动的退化图像中更具有针对性和实用性，论文修改了非局部正则化去噪算法的去噪惩罚项（看来这个去噪应该理解与学习一下），实现去噪过程与图像的运动模糊轨迹相适应，从而更加精准地估计出复原图像。

算法思路

1. 基于运动感知的单图协同复原算法，对分别获取的多帧退化图像进行复原；
2. 使用基于块匹配的退化图像配准算法，估计出变换矩阵；
3. 使用变换矩阵，返回到原退化图像进行插值，得到同一场景下的多帧退化图像；
4. 使用协同复原算法对多图去模糊进行图像复原，最终得到高质量的图片。

总结

从论文中认识了多帧图片复原算法的大致流程，了解了退化图像的退化类型，并且对于复原算法有了很浅薄的了解。但是具体多帧图像如何组合成一张高质量的图片的，没有具体提及组合方式，可能是操作太基础了？读到第三章的迭代算法时，还以为是单张图片一直迭代，可能是菜菜没读懂吧~

参考文献：[1]李警. 多帧图像复原算法研究[D]. 陕西:西安电子科技大学,2015. DOI:10.7666/d.D01069361.