Single Image Super-Resolution via Locally Regularized Anchored Neighborhood Regression and Nonlocal

单幅图像超分辨率局部正则化锚定邻域回归和非局部均值

摘要

基于学习的图像超分辨率（SR）的目标是从给定的低分辨率（LR）输入生成合理且视觉上令人愉悦的高分辨率（HR）图像.SR问题受到严重限制，并且必须 依靠示例或一些强大的图像先验来重建丢失的HR图像细节。非局部自相似性先验利用了自然图像中类似斑块的冗余性，而数据空间之前的局部几何可以用来规范LR和HR空间之间非线性关系的建模。 基于上述两个考虑，我们首先在调整斑块表示之前应用局部几何，然后利用非局部均值（NLM）滤波器来改善超分辨结果。 实验结果验证了所提出的算法与最先进的SR方法相比的有效性。

简介

具有高分辨率（HR）的图像是期望的且经常需要的。他们可以提供更多的细节，这些细节在各种应用中可能至关重要，如遥感，医疗诊断，智能监控等。 鉴于观察到的LR图像，如何诱导HR图像是图像处理领域的一个活跃的研究课题。超分辨率（SR）重建技术是Huang等人首次提出的技术。 在1984年，可以从观察到的LR图像估计HR图像。 它增加了高频分量，消除了摄像头传感器成像过程中出现的劣化。

研究状况

一般来说，现有的图像SR方法可以分为三类：基于插值的SR方法，基于重建的多图像SR方法和基于学习的单图像SR（SISR）方法。为了超分辨LR观测，基于插值的SR（例如，双线性，双三次以及其他重采样方法）利用基函数或插值核来估计HR网格中的未知像素。 虽然这些方法非常简单和快速，但它们容易模糊高频细节，因此可能导致在超分辨HR图像中明显模糊的边缘和不清晰的纹理。最近，已经开发了多种超越功能插值的方法，例如图像结构的几何规律性和梯度轮廓先验。
为了引入更多先验知识，基于重构的多图像SR方法结合了包含在多个LR图像中的非冗余信息来生成HR图像。 由于图像退化过程具有信息损失并且需要从有限的输入数据预测许多像素强度，所以基于重建的多图像SR也是具有挑战性和严重缺陷的问题。最近，许多先验的知识已经被引入，以促进重建过程以增强SR性能，例如投影对凸集（POCS）方法，迭代反投影（IBP）方法和自适应滤波方法。然而，当运动 两个输入LR图像之间的估计不准确，这通常发生在非全局运动场中，令人讨厌的伪影将出现在超分辨结果中。随着放大倍数的增加，重建约束和平滑之前将提供较少的有用信息。 他们倾向于涂抹图像细节，有时难以恢复精细的结构和纹理。另外还指出，对于足够大的放大因子，任何平滑先验都会导致过度平滑的结果，而且很少有高频成分。放大系数的用于基于重建的多图像SR方法的实际限制是，如果噪声去除和图像配准并不在预处理不够好。
基于学习或基于实例的SISR方法假定输入LR图像中丢失的高频细节可以从LR和HR图像对的训练集中学习。 根据学习策略的差异，可以分为两类：基于明确回归和基于隐含编码。LR图像与相应的HR图像之间的显性回归关系或隐式编码关系可用于预测LR观察中缺失的HR频率。近年来，引入了许多不同的先验约束来规范欠约束和不适宜的显式回归学习或隐式编码。 在SISR方法中普遍使用的Priors主要包括先验梯度曲线，软信息正则化和稀疏性，或者通过高斯混合模型或者通过分析算子。刘等人。 [32]，[33]利用基于马尔可夫随机场（MRF）模型的局部块的上下文信息以及结构调整的图像先验。 董等人。 [34]，[35]结合了数据聚类，基于自适应主分量分析（PCA）的稀疏表示和图像斑块在给定图像内的非局部自相似性的想法。在机器学习和模式识别中，训练数据之前的局部性对于探索数据的几何非常重要。特别地，局部约束可以帮助揭示数据空间的非线性流形结构，局部性约束算法尝试将高维空间中的关系嵌入到低维空间中，使得高维空间中的附近点保持在附近，并且在低维空间中相似地相互共同定位。这是图像SR重建的基本要求，其规定LR图像中丢失的高频细节可以从LR和HR图像对的训练集中学习，即，训练LR图像块和相应的HR块之间的关系 可用于估计给定LR输入中缺少的HR分量。自然图像的另一个属性是非局部相关性，即局部斑块图案的自相似性。 与“局部均值”滤波器不同，“局部均值”滤波器采用目标像素周围的一组像素的平均值来平滑图像，而非局部均值（NLM）滤波采用图像中所有像素的平均值，这些像素与这些像素的相似程度进行加权得到目标像素。 它已成功用于图像去噪，修复和图像恢复。

动机和贡献

在本文中，我们关注基于学习的SISR。 它通过学习来自LR和HR块对的先验知识来单独超解析输入LR图像块。我们遵循这些工作，并通过回归函数学习先前的信息。 特别地，在本文中，我们以基于锚定邻域回归（ANR）的SR方法[50]为出发点，通过回归函数提出了一种新的SISR方法，即基于NLM的局部正则化锚定邻域回归SR（我们简称之为LANR-NLM）。具体来说，我们考虑了非局部冗余和训练数据的局部几何结构，并开发了两个组装的先验来规范不适定的SR重建问题。 通过引入非局部冗余，可以预期更可靠的SR估计。 此外，所提出的方法利用局部约束回归代替ANR中的岭回归。它可以很好地探索LR和HR空间之间的非线性关系，使回归解更加稳定。实验结果表明，我们提出的方法在原始ANR方法上的改进，例如在PSNR方面比ANR方法高0.1-0.4dB。

所提出的基于LANR-NLM的SR方法包括一个学习阶段和一个重建阶段，如图1所示。在学习阶段，我们首先收集包含大量同现LR和HR图像的训练集，然后提取匹配块对以形成LR和HR训练集。一个简洁的LR字典通过稀疏编码进行训练，并且在LR和HR特征共享相同表示的假设下构造相应的HR字典。 然后使用LANR模型来学习每个字典原子的投影矩阵。 在重建阶段，首先在LR字典中搜索每个块的最近原子，然后使用这个原子的学习投影矩阵来预测HR特征。 最后，我们采用NLM滤波增强方法来减少估计HR图像中的伪像。
在我们在[51]中发表的初步工作的基础上，我们在以下几个方面对我们提出的LANR-NLM方法进行了详细的描述和评估：（i）引言部分被重写，以提供对相关工作的广泛审查并使 我们的贡献明确; （ii）将NLM滤波器结合到回归模型中以改善我们原始模型的性能; （iii）进行了广泛的实验评估，以验证我们提出的方法与现有的最先进的SISR方法相比的有效性。

问题的定义和相关背景

图像降解模型

为了全面分析图像重构问题，首先要制定一个观测模型，将HR图像与观察到的LR图像相关联。 具体而言，设x和y分别表示HR图像和对应的LR图像。 原始HR图像x和LR观测值y之间的关系可以通过以下表达式在数学上建模：

$$y = DHx + v \qquad(1)$$ 其中H是用于HR图像的模糊滤波器，D是表示抽取算子的矩阵，并且v是加性高斯白噪声，其解释了成像传感器噪声。这里，x和y分别是原始HR图像和观察到的LR图像的按照字典顺序堆叠的版本。
由于SR重建问题大的不适定性，基于正则化的技术己被广泛用于正则化解空间。为了得到一个有效的正则化变量，寻找和建模一个合适的自然图像的先验知识是非常重要的，由 $\Omega(X)$表示。学到的先验知识可以用来规范解决方案， $$J(x) = \Vert y - DHx \Vert_2^2 + \lambda \Omega(x), \qquad (2)$$ 其中 $\lambda$是拉格朗日乘数参数，它平衡了正则化项 $\Omega(X)$和似然项 $\Vert y -DHx\Vert_2^2$之间的折衷。
已经开发了各种图像先前的模型。 Tikhonov正则化和总变差正则化是两种流行的显式正则化技术，它们是预定义的，即令 $\Omega(X) = \Vert Cx \Vert_2^2$或 $\Omega(X) = \Vert Cx \Vert_1$，其中C是拉普拉斯算子。但是，基于预定义的先验的这些方法倾向于平滑图像细节并且很难导致令人满意的结果。 这主要是因为很难预先知道应该为SR问题使用多少先前的信息。从一组LR和HR图像对中学习的另一类先验知识通常会导致更好的SR重建结果，而不是使用预定义的知识。 这些技术假定图像可以局部地或稀疏地表示在由一组基底跨越的某个域中。具体而言，他们首先学习LR空间中的编码系数，然后将相同的编码系数应用于HR空间以获得目标HR图像。 在下文中，我们将简要回顾几种代表性的基于编码的图像SR方法。

基于编码的图像SR

对于HR图像$x \in R^N$，令$x_i = R_ix$表示在位置i处提取的大小为$\sqrt n \times \sqrt n$的HR图像块，其中$R_i$是从位置i处的x处提取块$x_i$的矩阵。类似的对于LR图像$y \in R^{N/s^2}$，令$y_i = R_iy$表示在位置i提取的尺寸为$\sqrt n/s \times \sqrt n /s$的LR图像块。这里，s是下采样因子。
鉴于LR和HR字典$D_L = [d_L^1,d_L^2,...,d_L^M]$和$D_H = [d_H^1,d_H^2,...,d_H^M]$，其中M是字典大小，基于编码方法的关键问题是如何在LR空间中表示图像块$y_i$并获得最优权向量w：

$$\hat w_i = \arg \min_{w_i} \Vert y_i - D_Lw_i \Vert_2^2 + \lambda \Omega(w_i). \qquad (3)$$ 目标HR块可以通过 $x_i = D_Hw_i$获得，最终的HR图像x通过对所有具有编码系数 $w_i$的重构块进行平均来计算。在理论上，它可以写为： $$x = \biggl(\sum_{i=1}^NR_i^TR_i\biggl)^{-1}\sum_{i=1}^NR_i^TD_Hw_i. \qquad (4)$$ 为了便于表达，我们定义了运算符” $\circ$”，如下所示： $$x \approx D_H \circ w = \biggl(\sum_{i=1}^NR_i^TR_i\biggl)^{-1}\sum_{i=1}^NR_i^TD_Hw_i。\qquad(5)$$ 其中w表示所有 $w_i$的并列。
在下文中，我们将介绍两种有代表性的基于本地块的编码方法。
（1）领域嵌入：基于LR和HR图像斑块位于低维非线性流形上并且具有相似局部结构的假设，Chang等人提出允许通过数据库中最近邻居的线性组合来近似LR输入块。首先，对于输入LR图像中的每个LR块 $y_i$，可以通过最小化局部重构误差来获得最优重建权重： $$\hat w_i = \arg \min_{w_i} \Vert y_i - \sum_k w_{i,k}D_L^k\Vert_2^2\\ s.t. \sum_k w_{i,k} = 1,\qquad (6)$$ 其中k是LR字典中 $y_i$最近邻的索引。方程（6）的最小化是一个约束最小二乘问题，它可以通过“求和到一个”约束求解线性系统方程。最近，Bevilacqua等人也使用SR的邻居嵌入。 他们假设LR空间中局部邻域上的局部非负最小二乘分解权重与HR空间中的相同。
（2）稀疏编码：邻居嵌入方法可能由于过度或不足的问题而产生不希望的结果。 为此，杨等人。 用稀疏约束优化代替最小二乘估计以获得更准确的解决方案。 因此，使用以下公式从学习词典稀疏重构LR块： $$\hat w_i = \arg \min_{w_i} \Vert y_i - \sum_{m=1}^Mw_{i,m}D_L^m\Vert_2^2+\lambda\Vert w \Vert_1，\qquad (7)$$
其中 $\Vert \bullet \Vert_1$是 $L_1$范数， $D_L$是学习的LR字典，与邻居嵌入方法不同。针对LR和HR耦合的特征空间共同学习稀疏字典，其目标是对LR块及其相应的HR块具有相同的稀疏表示。
基于这种稀疏编码的框架，Zeyde 等人使用K-SVD算法来学习LR字典，同时直接使用伪逆来获得HR字典。 此外，他们使用PCA对块进行降维。

提出的方法

为了解决严重的SR问题，本文提出利用数据空间之前的局部几何和自然图像之前的非局部自相似来规范SR重建。在下文中，我们首先回顾ANR法，然后提出我们提出的局部正则化锚定领域回归模型与NLM。在[50]中，Timofte等人结合邻居嵌入方法支持使用稀疏学习字典，并提出了一种基于ANR的SR方法。在ANR中，学习字典的每个原子（通过[57]的方法）被认为是LR补丁空间中的一个锚点。 每个锚点都与脱机学习的映射功能相关联。 ANR提出了在LR字典的局部邻域$N_{i,j}^L$中工作，而不是像第II-B2部分中的稀疏编码方法那样考虑整个字典，

$$N_{i,j}^L = \{D_L^k\}_{k \in C_k(D_L^j)},\qquad (8)$$ 其中 $D_L^j$表示LR词典 $D_L$中输入LR块 $y_i$的最近邻居， $C_K(D_L^j)$是LR词典 $D_L$中 $D_L^j$的K个最近邻居的索引集合。
特别是，输入LR图像块被构造为由重建向量的 $L_2$范数调整的最小二乘回归问题。 从而， $$\hat w_i = \arg \min_{w_i} \Vert y_i - N_{i,j}^Lw_i\Vert_2^2+\lambda_1\Vert w\Vert_2^2. \qquad (9)$$ 这里， $\lambda_1$是正则化参数，其平衡了 $y_i$的重建误差和 $\hat w_i$的平滑度之间的折衷。
公式（9）是一个岭回归问题，它有一个闭包解决方案： $$w_i={(N_{i,j}^L}^TN_{i,j}^L+\lambda_1 I)^{-1}{N_{i,j}^L}^Ty_i.\qquad (10)$$ 可以使用HR领域 $N_{i,j}^L$上的相同重建权重来计算HR块： $$x_i = N_j^Hw_i,\qquad (11)$$ 其中 $x_i$是HR输出块， $N_j^H$是对应于 $N{i,j}^L$的HR领域。从方程10和方程11可以得到： $$x_i = N_j^H({N_{i,j}^L}^TN_{i,j}^L+\lambda_1I)^{-1}{N_{i,j}^L}^Ty_i.\qquad(12)$$ 让 $P^j = N_j^H({N_{i,j}^L}^TN_{i,j}^L+\lambda_1I)^{-1}{N_{i,j}^L}^T.\qquad(12)$为字典原子 $D_L^j$的投影矩阵，那么基于编码的SR问题就转化为回归问题。因此，我们可以计算每个字典原子 $D_L^j,j = 1,2,...,M$的投影矩阵，基于它自己的领域 $N_{i,j}^L$。在获取所有投影矩阵后，可以通过将输入LR块映射到HR空间来解决SR问题： $$x_i = P^jy_i.\qquad (13)$$

规范化的局部正则化锚定领域回归

从方程9，我们知道ANR平等对待$N_{i,j}^L$中的所有邻居。因此，在获得映射函数时，它不灵活且适应于输入块。为了获得更准确的重建权重，本文中我们将更多的先验信息引入岭回归问题（9）。已经验证地点是探索非线性数据结构的非常重要的属性。事实上，[36]，[37]，[4]表明，地方性比稀少性更重要，因为地方性必须导致稀少性，但反之亦然。
受此启发，我们将目标函数引入区域正则化，

$$\hat w_i = \arg \min_{w_i} \Vert y_i - N_{i,j}^Lw_i\Vert_2^2+\lambda_1\Vert g_i \bullet w_i\Vert_2^2 \\s.t. 1^Tw_i =1 \qquad (14)$$
  其中 $\bullet$表示点向量积， $\lambda_1$是平衡 $y_i$的重建误差与 $\hat w_i$的解的局部性之间的折衷的参数。约束 $1^Tw_i = 1$遵循移位不变要求，并且 $g_i$是K维向量，其惩罚输入LR块 $y_i$和每个K最接近的字典原子之间的距离，因此给每个字典原子赋予不容的自由度。这与相关性 $corr(y_i,D_L^k)$与输入LR块 $y_i$成反比。（请注意，在本文中，遵循使用相关性而非欧几里得距离来度量贴片之间的相似度）。然后： $$g_{i,j} = \{1/corr(y_i,D_L^k)\}^\alpha, k \in C_K(D_L^j), \qquad (15)$$ 其中 $\alpha$用于调整本地适配器的重量衰减速度，在我们的所有实验中，将其设置为11。
对所有的 $y_i$，我们重写公式14得到： $$\hat w \arg \min_w \Vert y - N^Lw\Vert_2^2+ \lambda_1\Vert Gw \Vert_2^2 \\ s.t.1^Tw_i = 1 . \qquad (16)$$ ，这里H_L和G是块对角矩阵。 $N^L = blkdiag(N_{1,j}^L,N_{2,j}^L,...,N_{N,j}^L)$和 $G = blkdiag(g_1,g_2,...,g_N)$。
从方程1，我们可以轻易推断出来 $y = D_L\hat w = DHD_Hw$。同样 $N^Lw = DHN^Hw$，因此方程16能重写为： $$\hat w = \arg \min_w \Vert y - DHN^Hw\Vert _2^2 + \lambda_1\Vert G w \Vert_2^2 \\ s.t. 1^Tw_i = 1.\qquad (17)$$ 通过引入先验局部性，我们提出的方法可以实现更合适的补丁表示。 它可以获得相对平滑的重建权重。 换句话说，大的重建权重将被分配给与输入块类似的训练贴片，而小的重建权重将被分配给与输入块不相似的训练块。

非局部相似的自适应正则化

LANR模型可以利用数据空间中的局部几何。 另外，在自然图像中经常存在许多重复的图案。 这种非局部冗余对于提高重建图像的质量非常有帮助。 因此，我们进一步将NLM纳入LANR模型作为补充正则化术语。
或者，对于每个局部区块$x_i$，我们在整个图像x中搜索其L个相似块$\{ x_i^l \}_{l=1}^L$（实际上，为了效率，可以使用围绕$x_i$的足够大的区域）。使用获得的L个相似的块来预测块$x_i$，即

$$x_i = \sum_{l = 1}^Lx_i^lb_i^l. \qquad (18)$$ 设置非局部权重 $b_i^l$与块 $x_i$和 $x_i^l$之间的距离成反比， $$b_i^l = \frac 1 \gamma exp(-\Vert \hat x_i - \hat x_i^l\Vert_2^2/h), \qquad (19)$$ 其中 $\hat x_i = D_H \hat w_i$和 $\hat x_i^l = D_H \hat w_{i,j}$是块 $x_i$和 $x_i^l$的估计，h是权重的预定控制因子，B是归一化因子。 $\gamma = \sum_{l=1}^L exp(-\Vert \hat x_i -\hat x_i^l\Vert_2^2/h)$。
令 $b_i$是包含所有权重 $b_i^l$的列向量，并且 $\beta_i$是包含所有 $x_i^l$的列向量。方程18改写为： $$x_i = b_i^T\beta_i. \qquad (20)$$

算法总结

在方程17中将非局部相似性正则化项纳入方程式中的LANR模型中，得到：

$$\hat w = \arg \min_w \Vert y - DHN^Hw\Vert _2^2 + \lambda_1\Vert G w \Vert_2^2 \\ + \lambda_2 \sum_{i =1}^N(X_i - b_i^T\beta_i) \\ s.t. 1^Tw_i = 1.\qquad (21)$$ 其中 $\lambda_2$是一个不断平衡非局部正则化的贡献。为了便于表达，将 $\sum _{i=1}^N(x_i - b_i^T\beta_i)$改写为 $\Vert (I-B)N^Hw\Vert_2^2$，其中I是单位矩阵，B被定义为： $$B(i,j) = \begin{cases}b_i^l, & \text{if $x_i^l$ is an element of $\beta_i$,$b_i^l \in b_i$} \\ 0, & \text{otherwise.} \end{cases} \qquad (22)$$ 然后公式21重写为： $$\hat w = \arg \min_w \Vert y - DHN^Hw\Vert _2^2 + \lambda_1\Vert G w \Vert_2^2 + \lambda_2 \Vert(I-B)N^Hw\Vert_2^2 \\ s.t. 1^Tw_i = 1.\qquad (23)$$
在等式 （23）式中，第一项是数据保真度项，用于确保解算符 $\hat x = N_H \hat w$能很好地拟合算子B和D在图像退化过程后的观测值y; 第二项是基于局部几何先验的自适应正则化项，以保持数据流形的局部几何; 第三项是非局部相似性正则化术语，它使用非局部冗余来增强每个局部块。

LANR-NLM的优化

在我们的目标函数中，有两个正则化项，非局部自相似正则化和局部几何正则化。 前者利用了自然图像中类似斑块的冗余，而后者则可用于调整LR和HR空间之间的非线性关系的建模。
基于上述两个考虑，我们首先在调整补丁表示之前应用局部几何图形来逐个像素地预测HR目标补片。 然后，我们利用NLM滤波器来改善超分辨结果。 因此，LANR-NLM的优化包括以下两个主要步骤：学习字典中每个锚点的补丁表示（即投影矩阵），并通过NLM滤波器细化结果。
在等式14中的正则化最小二乘解可以通过分析得出：

$$w_i = {(N_{ij}^L}^TN_{i,j}^L+\lambda_1U)^{-1}{N_{i,j}^L}^Ty_i,\qquad (24)$$ 其中U是 $K*K$的对角矩阵 $$U_{kk}=g_{i,k},k =1,2,...,K.\qquad (25)$$
类比于公式11和12，我们可以得到我们提出的LANR-NLM方法的存储投影矩阵： $$P^j = N_i^H{(N_{ij}^L}^TN_{i,j}^L+\lambda_1U)^{-1}{N_{i,j}^L}^T \qquad (26)$$ 如果我们离线计算每个字典原子的投影矩阵（如算法1中给出的那样），那么我们可以通过补丁来预测HR图像斑块。 根据它们的位置集成所有超分辨HR补丁，我们可以生成目标HR图像x。
给定估计的HR图像，我们采用梯度下降法则来获得最佳结果，如[34]。在算法2中给出了所提出的方法的整个图像SR过程。在算法2中，LR和HR字典由算法1中的前六个步骤训练.e是控制迭代过程收敛的预定义标量，并且 maxIter 是允许的最大迭代次数。步骤 $\delta$设置为5。迭代参数分别通过实验设定为 $M_0 =20$和 $maxIter = 160$。为了降低计算复杂度，我们在每次 $M_0$的迭代中更新NLM。