认识多帧2（未完）：基于纹理细节估计的多帧图像超分辨率重建算法研究

引言

这是认识多帧的第二篇文章，是华中科技大学的博士论文。
超分辨率重建算法研究，超分辨率重建的目的是通过融合一幅或多幅同一场景下的已知图像信息建立一幅高分辨率的图像，该问题是一个由输出信息求输入信息的数学物理反问题。该文从观测模型和先验模型入手，探讨了观测模型和先验模型在重建图像边缘和细节中的作用，提高多帧超分辨率重建算法的准确率。

研究现状

截取一段我自己感兴趣的（看得懂的~）

观测、先验模型

观测模型描述图片从高清到低清的过程，和认识多帧1中描述的图像退化（包括图片模糊和图片噪声）类似，这里作者细分观测模型的观测过程，包括形变、模糊、降采样和噪声等，用公式表示为：
$$v_k=D_k{B}_k{M}_{k}u+n_k$$
其中$D_k$为降采样矩阵，$B_k$为模糊矩阵，$M_k$为形变矩阵且形变包括旋转、平移和尺度缩放。为了方便描述，令$W_k=D_k{B}_k{M}_k$，则：
$$v_k=W_{k}u+n_k$$
在多帧图像超分辨率重建方法中，不同低分辨率图片之间有少量的偏移——运动、模糊与缩放。因此准确对低分辨率图片进行配准是必要的，认识多帧1中简单介绍了图片配准的概念，在本篇论文中，假设图像都是运动幅度较小的全局运动，故使用以下方程对图片配准：
$$▽v_x=v_x^{\prime }-v_x=v_x^{\prime }-v_{x}cos\theta +v_{y}sin\theta -\alpha$$
$$▽v_y=v_y^{\prime }-v_y=v_y^{\prime }-v_{y}cos\theta -v_{x}sin\theta -b$$
式中的$\theta$能够使用泰勒展开求取（论文没有说明这个$\theta$的详细求取步骤）
模糊作为另一个影响重建效果的因素，主要为高斯模糊和均值模糊，模糊函数未知的情况下，使用盲卷积的方式进行，而在该论文中假设模糊已知。
超分辨重建中，保护边缘和去除噪声是一对矛盾体
观测模型中的退化因素多种多样，且模型的描述也是一种理想化的近似，传感器量化误差等难以在该模型中得到体现，目前人们对贝叶斯算法的研究多集中于对图像先验模型的研究，好的先验模型虽然可以有效的保留图像的细节信息，但是均以现有观测模型为基础，无法弥补在降质过程中所丢失的信息。
**注：**这里提出了观测模型和先验模型各自的优缺点

频域超分辨率重建

将低分辨率图片映射到频域中，从频域中估计高分辨率图片，最后将得到的频域超分辨率图片映射回空间域。根据算法不同，可分为基于傅里叶变换的超分辨率重建算法和基于小波变换的超分辨率重建算法。

单帧图像超分辨率重建

单帧超分辨率重建，期望的高频信息会大量丢失，导师插值后的图片出现模糊。

多帧图像超分辨率重建

千呼万唤始出来
把同一场景下各低分辨率图片间的互补信息融合到同一幅图像中，达到提高分辨率的目的。实际应用中，很容易接触到具有相互运动的图像序列，该重建方法直观且容易实现，图像重建利用观测到的多帧低分辨率图像重建出理想的高分辨率图像。为了保证求解过程的稳定性，需要加入不同性质的先验模型来约束重建过程。

算法模型

两种该论文研究的框架
最大后验概率
是贝叶斯框架下利用梯度下降法求解超分辨率图片的一种高效算法，基本思想为：给定一组低分辨率图片{$v_k$}，通过贝叶斯准则估计超分辨率图片
$$p(\tilde{u}|v_k)=\frac{p(v_1,v_2,...,v_k|u)p(u)}{p(v_1,v_2,...,v_k)}\propto p(v_1,v_2,...,v_k|u)p(u)$$
求取对数并使用MAP估计超分辨率图片得：
$${\tilde{u}}_{MAP}=argma{x}_u(logp(v_1,v_2,...,v_k|u)+logp(u))$$
加上低分辨率图片独立同分布，故：
$${\tilde{u}}_{MAP}=argma{x}_u(log\prod _{k=1}^{K}p(v_k,u)+logp(u))=argma{x}_u(\sum _{k=1}^{K}logp(v_k,u)+logp(u))$$
由共轭梯度法得：
$$p(v_k|u)=\frac{1}{C_1}exp(\frac{-||\overline{v_k}-v_k|{|}_2^2}{2{\sigma }_k^2})$$
其中，$\overline{v_k}=W_{k}u$，$C_1$是一个常数，${\sigma }_k^2$是第$k$幅图像的噪声方差，引入关于超分辨率图片$u$的先验模型后，MAP方法的目标函数可以写为：
$$\tilde{u}=argmi{n}_u(\sum _{k=1}^K||\overline{v_k}-v_k|{|}_2^2+\lambda ||fu|{|}_p)$$其中$\lambda$是正则化参数，求取最优正则化参数$\lambda$也有多种方法。
变分贝叶斯
分为两部分：贝叶斯模型和贝叶斯推断。对于贝叶斯模型，又可以分为三步：1）假设图像降质模型；2）假设先验分布模型；3）假设超参数的分布模型。

先验模型

……未完待续