Single Image Super-Resolution via Locally Regularized Anchored Neighborhood Regression and Nonlocal

单幅图像超分辨率局部正则化锚定邻域回归和非局部均值

摘要

基于学习的图像超分辨率（SR）的目标是从给定的低分辨率（LR）输入生成合理且视觉上令人愉悦的高分辨率（HR）图像.SR问题受到严重限制，并且必须 依靠示例或一些强大的图像先验来重建丢失的HR图像细节。非局部自相似性先验利用了自然图像中类似斑块的冗余性，而数据空间之前的局部几何可以用来规范LR和HR空间之间非线性关系的建模。 基于上述两个考虑，我们首先在调整斑块表示之前应用局部几何，然后利用非局部均值（NLM）滤波器来改善超分辨结果。 实验结果验证了所提出的算法与最先进的SR方法相比的有效性。

简介

具有高分辨率（HR）的图像是期望的且经常需要的。他们可以提供更多的细节，这些细节在各种应用中可能至关重要，如遥感，医疗诊断，智能监控等。 鉴于观察到的LR图像，如何诱导HR图像是图像处理领域的一个活跃的研究课题。超分辨率（SR）重建技术是Huang等人首次提出的技术。 在1984年，可以从观察到的LR图像估计HR图像。 它增加了高频分量，消除了摄像头传感器成像过程中出现的劣化。

研究状况

一般来说，现有的图像SR方法可以分为三类：基于插值的SR方法，基于重建的多图像SR方法和基于学习的单图像SR（SISR）方法。为了超分辨LR观测，基于插值的SR（例如，双线性，双三次以及其他重采样方法）利用基函数或插值核来估计HR网格中的未知像素。 虽然这些方法非常简单和快速，但它们容易模糊高频细节，因此可能导致在超分辨HR图像中明显模糊的边缘和不清晰的纹理。最近，已经开发了多种超越功能插值的方法，例如图像结构的几何规律性和梯度轮廓先验。
为了引入更多先验知识，基于重构的多图像SR方法结合了包含在多个LR图像中的非冗余信息来生成HR图像。 由于图像退化过程具有信息损失并且需要从有限的输入数据预测许多像素强度，所以基于重建的多图像SR也是具有挑战性和严重缺陷的问题。最近，许多先验的知识已经被引入，以促进重建过程以增强SR性能，例如投影对凸集（POCS）方法，迭代反投影（IBP）方法和自适应滤波方法。然而，当运动 两个输入LR图像之间的估计不准确，这通常发生在非全局运动场中，令人讨厌的伪影将出现在超分辨结果中。随着放大倍数的增加，重建约束和平滑之前将提供较少的有用信息。 他们倾向于涂抹图像细节，有时难以恢复精细的结构和纹理。另外还指出，对于足够大的放大因子，任何平滑先验都会导致过度平滑的结果，而且很少有高频成分。放大系数的用于基于重建的多图像SR方法的实际限制是，如果噪声去除和图像配准并不在预处理不够好。
基于学习或基于实例的SISR方法假定输入LR图像中丢失的高频细节可以从LR和HR图像对的训练集中学习。 根据学习策略的差异，可以分为两类：基于明确回归和基于隐含编码。LR图像与相应的HR图像之间的显性回归关系或隐式编码关系可用于预测LR观察中缺失的HR频率。近年来，引入了许多不同的先验约束来规范欠约束和不适宜的显式回归学习或隐式编码。 在SISR方法中普遍使用的Priors主要包括先验梯度曲线，软信息正则化和稀疏性，或者通过高斯混合模型或者通过分析算子。刘等人。 [32]，[33]利用基于马尔可夫随机场（MRF）模型的局部块的上下文信息以及结构调整的图像先验。 董等人。 [34]，[35]结合了数据聚类，基于自适应主分量分析（PCA）的稀疏表示和图像斑块在给定图像内的非局部自相似性的想法。在机器学习和模式识别中，训练数据之前的局部性对于探索数据的几何非常重要。特别地，局部约束可以帮助揭示数据空间的非线性流形结构，局部性约束算法尝试将高维空间中的关系嵌入到低维空间中，使得高维空间中的附近点保持在附近，并且在低维空间中相似地相互共同定位。这是图像SR重建的基本要求，其规定LR图像中丢失的高频细节可以从LR和HR图像对的训练集中学习，即，训练LR图像块和相应的HR块之间的关系 可用于估计给定LR输入中缺少的HR分量。自然图像的另一个属性是非局部相关性，即局部斑块图案的自相似性。 与“局部均值”滤波器不同，“局部均值”滤波器采用目标像素周围的一组像素的平均值来平滑图像，而非局部均值（NLM）滤波采用图像中所有像素的平均值，这些像素与这些像素的相似程度进行加权得到目标像素。 它已成功用于图像去噪，修复和图像恢复。

动机和贡献

在本文中，我们关注基于学习的SISR。 它通过学习来自LR和HR块对的先验知识来单独超解析输入LR图像块。我们遵循这些工作，并通过回归函数学习先前的信息。 特别地，在本文中，我们以基于锚定邻域回归（ANR）的SR方法[50]为出发点，通过回归函数提出了一种新的SISR方法，即基于NLM的局部正则化锚定邻域回归SR（我们简称之为LANR-NLM）。具体来说，我们考虑了非局部冗余和训练数据的局部几何结构，并开发了两个组装的先验来规范不适定的SR重建问题。 通过引入非局部冗余，可以预期更可靠的SR估计。 此外，所提出的方法利用局部约束回归代替ANR中的岭回归。它可以很好地探索LR和HR空间之间的非线性关系，使回归解更加稳定。实验结果表明，我们提出的方法在原始ANR方法上的改进，例如在PSNR方面比ANR方法高0.1-0.4dB。

所提出的基于LANR-NLM的SR方法包括一个学习阶段和一个重建阶段，如图1所示。在学习阶段，我们首先收集包含大量同现LR和HR图像的训练集，然后提取匹配块对以形成LR和HR训练集。一个简洁的LR字典通过稀疏编码进行训练，并且在LR和HR特征共享相同表示的假设下构造相应的HR字典。 然后使用LANR模型来学习每个字典原子的投影矩阵。 在重建阶段，首先在LR字典中搜索每个块的最近原子，然后使用这个原子的学习投影矩阵来预测HR特征。 最后，我们采用NLM滤波增强方法来减少估计HR图像中的伪像。
在我们在[51]中发表的初步工作的基础上，我们在以下几个方面对我们提出的LANR-NLM方法进行了详细的描述和评估：（i）引言部分被重写，以提供对相关工作的广泛审查并使 我们的贡献明确; （ii）将NLM滤波器结合到回归模型中以改善我们原始模型的性能; （iii）进行了广泛的实验评估，以验证我们提出的方法与现有的最先进的SISR方法相比的有效性。

问题的定义和相关背景

图像降解模型

为了全面分析图像重构问题，首先要制定一个观测模型，将HR图像与观察到的LR图像相关联。 具体而言，设x和y分别表示HR图像和对应的LR图像。 原始HR图像x和LR观测值y之间的关系可以通过以下表达式在数学上建模：

$$y = DHx + v \qquad(1)$$ 其中H是用于HR图像的模糊滤波器，D是表示抽取算子的矩阵，并且v是加性高斯白噪声，其解释了成像传感器噪声。这里，x和y分别是原始HR图像和观察到的LR图像的按照字典顺序堆叠的版本。
由于SR重建问题大的不适定性，基于正则化的技术己被广泛用于正则化解空间。为了得到一个有效的正则化变量，寻找和建模一个合适的自然图像的先验知识是非常重要的，由 $\Omega(X)$表示。学到的先验知识可以用来规范解决方案， $$J(x) = \Vert y - DHx \Vert_2^2 + \lambda \Omega(x), \qquad (2)$$ 其中 $\lambda$是拉格朗日乘数参数，它平衡了正则化项 $\Omega(X)$和似然项 $\Vert y -DHx\Vert_2^2$之间的折衷。
已经开发了各种图像先前的模型。 Tikhonov正则化和总变差正则化是两种流行的显式正则化技术，它们是预定义的，即令 $\Omega(X) = \Vert Cx \Vert_2^2$或 $\Omega(X) = \Vert Cx \Vert_1$，其中C是拉普拉斯算子。但是，基于预定义的先验的这些方法倾向于平滑图像细节并且很难导致令人满意的结果。 这主要是因为很难预先知道应该为SR问题使用多少先前的信息。从一组LR和HR图像对中学习的另一类先验知识通常会导致更好的SR重建结果，而不是使用预定义的知识。 这些技术假定图像可以局部地或稀疏地表示在由一组基底跨越的某个域中。具体而言，他们首先学习LR空间中的编码系数，然后将相同的编码系数应用于HR空间以获得目标HR图像。 在下文中，我们将简要回顾几种代表性的基于编码的图像SR方法。

基于编码的图像SR

对于HR图像$x \in R^N$，令$x_i = R_ix$表示在位置i处提取的大小为$\sqrt n \times \sqrt n$的HR图像块，其中$R_i$是从位置i处的x处提取块$x_i$的矩阵。类似的对于LR图像$y \in R^{N/s^2}$，令$y_i = R_iy$表示在位置i提取的尺寸为$\sqrt n/s \times \sqrt n /s$的LR图像块。这里，s是下采样因子。
鉴于LR和HR字典$D_L = [d_L^1,d_L^2,...,d_L^M]$和$D_H = [d_H^1,d_H^2,...,d_H^M]$，其中M是字典大小，基于编码方法的关键问题是如何在LR空间中表示图像块$y_i$并获得最优权向量w：

$$\hat w_i = \arg \min_{w_i} \Vert y_i - D_Lw_i \Vert_2^2 + \lambda \Omega(w_i). \qquad (3)$$ 目标HR块可以通过 $x_i = D_Hw_i$获得，最终的HR图像x通过对所有具有编码系数 $w_i$的重构块进行平均来计算。在理论上，它可以写为： $$x = \biggl(\sum_{i=1}^NR_i^TR_i\biggl)^{-1}\sum_{i=1}^NR_i^TD_Hw_i. \qquad (4)$$ 为了便于表达，我们定义了运算符” $\circ$”，如下所示：

x≈DH∘w=(∑i=1NRTiRi)−1∑i=1NRTiDHwi。(5)