基于自然图像先验的贝叶斯超分重建

   基于自然图像先验的贝叶斯超分重建

一：摘要：

一般方法：用贝叶斯模型来描述问题，然后得到最大后验概率解，就成为一个正则化回归的问题，但是这并不能充分利用概率模型的优势。另外，目前的贝叶斯SR方法用后验均值估计，用比较简单的后验均值模型以保证效率。本文提出一种贝叶斯SR方法，用高阶MRF模型作为自然图像的先验。最后使用MMSE准则来估计SR图像。使用MCMC采样方法来得到最后的MMSE方法的解。

与别的文章的不同

（1）是一个完整的贝叶斯方法，可以HR图像的先验知识，或者其他不确定性，例如噪声的级别。

（2）高阶MRF模型用来模型自然图像统计先验，也有助于采样。

（3）MMSE准则代替MAP准则，MAP对局部极大值更加敏感。尤其当用到重尾先验，容易陷入局部最大值。

二：最近工作

三：自然图像统计的先验模型

自然图像具有它独有的特征，和噪声图像不一样。例如局部相关性、边界、自相似性。自然图像统计：（1）自然图像加以梯度滤波后有重尾分布。可以理解为：自然图像是局部平滑的，因此边际分布比高斯分布下降的快。自然图像有许多的特征：边界：导致比高斯分布严重的重尾分布。除了这些：例如尺度不变性：自然图像在不同尺度下，重尾分布是相似的。还有局部像素的相关性。

（1）高斯先验：梯度图像的高斯模型

（2）图像满足一定的平滑特性。过度平滑图像

（3）拉普拉斯先验

 

保持图像的不连续性

（4）超拉普拉斯先验

alpha控制图像的稀疏性。

 

自然图像的概率模型可以统称为MRF。在MRF中，自然图像x的概率f（.）输入为为一个clique，输出这个clique的能量或者势。Z是变分函数使得概率之和等于1.成对MPF是典型的MRF：每个像素是一个结点。每个像素和它邻域像素连接。

前面所说的都是成对MRF，因为每个clique都只有两个邻域像素，因为是求一阶梯度。引入高阶MRF：高阶MRF的挑战是势函数比较难定义。因为clique的size变大。引入FOE作为势函数。它是低维空间的几个函数的乘积：

 

Kl是L个梯度滤波器，可以从数据中学习得到。比之前定义好的梯度滤波器的好处：学习得到的滤波器更能得到图像的统计特征。Clique实际上是在c点被kl覆盖的一个patch。MRF模型的一个挑战是归一化项Z。方法参考文献中对比差异和分数匹配。

 

四、基于自然统计特性的贝叶斯图像超分

传统的用正则化项的SR方法不能发挥概率模型的优势，面临非凸优化问题。这边提出一个贝叶斯SR方法，从后验使用MMSE方法估计HR图像，使用比较好的通过自然图像学习的模型。

算法框架：首先从训练自然图像中用MRF模型学习一个分布，用GSM模型作为它的势函数。学习到的分布作为被估计的SR的先验。然后HR图像通过后验采样用MMSE标准得到。

由贝叶斯定理：

包含条件概率或者叫似然概率和先验p（x）。

A.贝叶斯SR构想

（1）条件似然概率：

（2）图像的先验模型：FOE模型是一个高阶MRF模型，可以捕捉自然图像的统计信息通过从数据中学习高阶滤波器。

因此采用高阶FOE模型作为待估计HR的先验。

 

势函数是高斯尺度混合模型

采用这个模型的两点好处：（1）方便获取自然图像统计信息。（2）便于采样。

是第l个滤波器的第j个成分的归一化系数。Sj是第j个高斯成分的尺度参数。

里面包含的参数：可以通过参考文献[25]/[32]训练数据学习得到。

其实是一个零均值的一维高斯混合模型，更因为先验模型是高斯混合，可以方便的采样。

（3）超参数的先验

把噪声级别也看成是随机变量，把它和其他随机变量一起估计。使用的是gamma分布：

 

使用gamma分布的原因是gamma分布是高斯分布的共轭先验。

（4）后验

 

使用贝叶斯后验平均来估计HR图像。我们通过从后验分布中采样在估计。

 

B.贝叶斯SR方法

直接从后验分布中采样是比较难得。加入辅助变量Z，是一个m*L的矩阵，m是是图像的维数（变成向量）。Z包含的图像x每个位置每个专家的GSM模型的指标变量。

 

Zcl=j。

 

使用MCMC方法进行采样。

（1）采样Z：

 

（2）采样T

是一个gamma分布

（3）采样X

（4）

 

由于协方差矩阵很大，采样比较苦难。将x分解：

第一个分量u：

 

第2个分量V:先采样。

上述采样方法都使用参考文章：Gaussian sampling by local perturbations。U和v变量的求解使用共轭梯度法。

得到采样

 

估计噪声

 

或者：

 

 

实现细节：

H是一个高斯滤波器，当放大因子为3时，标准差为2。尺寸为7.滤波在频域进行，通过FFT完成。

8个专家相乘得到势函数f（。），L=8.

GSM模型J=15来作为专家函数。15个成分共享一个基方差参数。

每一个有一个尺度参数

尺寸为3*3.和GSM从参考文献[29]用对比散度算法从训练图像中学习得到。也就是说这边高斯模型的方差和均值都是定的，只是系数需要从训练图像中学习。

下图为学习到的滤波器以及8个专家（具有重尾分布）和对应的系数。

 

MCMC中比较重要的一点是收敛条件：我们令M=100，N=20.如果是噪声图像M=200.

 

实验和结果：

放大因子为3.和BI、NN、Fast、ScSR、proposed

放大因子为4，和KRR（通过基于块的稀疏核回归得到HR和LR的映射）、

变分贝叶斯VBSR（用一个简单的TV模型，通过VB近似，用后验平均估计HR图像）。这个方法中，低通滤波器的矩阵是确定的，只能处理小图像。

和ScSR方法相比较，该方法不需要知道噪声级别，而且能推断出噪声级别。

 

总结：

SR图像是用MMSE标准估计而不是传统的MAP估计的。是后验平均，而不是最大后验。

估计HR图像，我们利用近似MMSE估计的有效采样。