基于最小均方误差linear minimum mean square error(LMMSE)插值算法的图像超分辨重构研究-附Matlab代码

✳️ 一、引言

图像是一种表达信息的形式，其中，数字图像反馈的信息更加丰富。 在获取图像的过程中，图像的形成、传输、存储、处理过程受到外界干扰或成像设备自身的局限等多种因素，导致获取的图像质量不高，使图像分辨率下降，这种情况称为降质或退化，具体表现为图像模糊、有噪声、分辨率下降、图像失真、振铃波纹、边缘信息丢失或产生马赛克等质量下降等现象，这给处理图像和后续应用带来很大影响。 由于造成图像质量下降的因素有很多，例如：空气流动造成摄影设备晃动、摄影设备移动中模糊，设备像素不高、光学系统差别、成像设备局限性以及频谱混叠等，因此，图像质量下降的原因没有办法从根本上解决。

✳️ 二、图像复原基本原理

图像复原是利用对退化图像的先验知识以及对其退化过程的研究，来尽量重建或复原退化的图像，得到原图像的最佳估计图像。 因此，图像复原可以看成是沿着图像降质过程反方向处理的逆过程，是对图像降质过程加以分析和估计，建立相应的图像退化的数学模型，尽量消除退化过程造成的失真情况，以此方式获得未经退化的原始图像或原始图像的最优估计，从而达到提高图像质量的目的。

图像复原是根据图像的退化成因，通过图像处理技术尽量地去除或减少在获得观测图像过程中产生的降质影响，因为使图像降质的原因很多，不便一一建模分析，所以通常用统一基础数学模型对图像的模糊过程进行描述。在图像复原过程中，高分辨率图像可以用f(n1, n2)表示，其中n1，n2＝0，1，2，…，N-1。相应的低分辨率图像则为g(m1, m 2)，其中m1，m2＝0，1，2，…，M-1。 其中M=N/R，R是f(n1, n2)和 g(m1, m 2)采样率。 在不考虑模糊噪声的情况下，高分辨率图像和低分辨率图像的关系可用以下模型表示：

其中，f为按照字典序排列的未知高分辨率图像向量，g为按照字典序排列的拍摄时所获取的已降质的低分辨率图像向量，v则是相应的噪声值向量。 根据字典序准则，向量g和向量v分别为 $M^2\times 1$维的矩阵，f为 $N^2\times 1$维矩阵。矩阵Ｄ在此则表示在高分辨率图像和低分辨率图像的转换过程中的降采样及滤波矩阵，为 $M^2\times N^2$矩阵

✳️ 三、基于多通道LMMSE图像复原法

✳️ 3.1 最小均方误差LMMSE插值理论

LMMSE是指线性最小均方误差，是在假设图像信号可近似地看成平稳随机的前提下，按照复原后的优化图像与原图像f(x, y)的均方差最小原则来进行相关图像复原处理。多通道图像复原能够产生超过比合成通道以及分别复原的图像复原方法的更加显著的效果，可以利用原图像通道间的关联性达到抑制噪声和复原图像获得优化图像的最终目的。

多通道复原就是获得多幅与LR图像维度相同的未降质图像。 那么，想要达到这个目的就需要一个简化的降质模型，此模型不考虑滤波算子D和降采样。对于包含P个通道，维度为M×M的多通道成像系统，多通道降质模型可以写成如下模式：

其中，g、f和v为 $P\times M^2$维矩阵；多通道图像降质模型中的降质操作算子H是 $M^2\times N^2$维矩阵。

LMMSE图像插值算法可应用于多通道图像复原，推导相应的LMMSE图像复原算法。基于LMMSE的公式为：

式中： $R_f$和 $R_v$分别为多通道图像和噪声相关矩阵，它们的维数是 $P{M}^2\times P{N}^2$。

在定义噪声的自相关矩阵 $R_v$时，可以假设两道噪声之间不相关。 假设v为白噪声，则 ${R_v}^{kk}={\delta }_{kk}^{2}I$，其中 ${\delta }_{kk}^2$是 的方差。

✳️ 3.2 理论公式对应的Matlab关键代码

关键公式对应的Matlab代码如下：

R_v为对角矩阵，其主对角线元素为含噪低分辨率图像的噪声方差：

R_v = speye(M^2)*n_var;   

LMMSE插值后的高分辨率图像，对应代码如下：

f = R_f*D'*inv(D*R_f*D'+R_v)*g;

其中，自相关矩阵处理代码如下

R_f = zeros(N,N);      % 定义 图像与噪声的 自相关矩阵
R_f = RRR';
R_f = im2col(R_f,[N N],'distinct'); % 转换为向量
R_f = sparse(1:N^2,1:N^2,R_f);      % 稀疏矩阵

✳️ 四、实验验证

在模拟实验中，首先对原始图像进行降采样，然后加入高斯白噪声(AWGN)来模拟低分辨率图像降质模型，最后，对低分辨率图像进行双线性插值重构原始图像，结果如图1所示，此时，重构图像与原始图像之间的峰值信噪比为32.1843。

图 1 基于LMMSE插值的重构结果

✳️ 五、参考文献

[1] 吴锡，周激流，谢明元．改进LMMSE的弥散加权磁共振图像Rician噪声复原[J]．电子学报，2013（4）: 717-721.

[2] 穆晓芳，赵月爱，张朝霞，等．一种改进的NAS-RIF图像盲复原算法[J]． 太原师范学院学报（自然科学版），2008，8（1）: 71-75．

[3] 檀成龙. 多通道正则化图像复原方法研究[J]. 测绘与空间地理信息, 2022, 45(04): 223-225.

✳️ 六、Matlab程序获取与验证

上述演示实例由Matlab代码实现，该Matlab代码如下：

https://download.csdn.net/download/m0_70745318/87765217

---

博主简介：研究方向涉及智能图像处理、深度学习、卷积神经网络等领域，先后发表过多篇SCI论文，在科研方面经验丰富。任何与算法、程序、科研方面的问题，均可私信交流讨论。

---