Kernel Regression for Image Processing and Reconstruction（2007）

摘要：本文调整并扩展了内核回归思想，用于图像去噪，放大，插值，融合等等。本文与一些流行的现有方法建立了关键关系，并展示了几种这些算法（包括最近普及的双边滤波器）是如何构建框架的特例。

概述：本文主要研究核回归方法，来试图恢复由于成像系统的限制而破坏了的无噪的高频信息，还有退化过程，比如说压缩。我们研究回归，不仅用于插值定期采样帧（上采样），还用于恢复和增强噪声和可能不规则采样的图像。如图1所示，1a表示每个方向上将图像上采样两倍。1b表示将不规则采样的噪声图像插值到高分辨率网格上。流程如图2所示：

本文主要应用：（1）提出经典的核回归方法，并说明该方法是降噪和插值的一个有效工具，且建立起与其他的一些方法之间的关系。（2）将经典核回归推广到自适应的核回归，并给出它在降噪和插值应用中的非常好的结果。

 经典核回归：

A.一维的情形

经典参数图像处理方法依赖于感兴趣信号的特定模型，并寻求在存在噪声的情况下计算该模型的参数。

非参数方法依赖于数据本身来决定模型的结构，在这种情况下，这种隐式模型被称为回归函数。这种方法的例子呈现在从去噪到升级和插值的各种问题中。 然后产生基于估计参数的生成模型作为基础信号的最佳估计。

与参数方法相比，非参数方法依赖于数据本身来决定模型的结构，在这种情况下，这种隐式模型被称为回归函数。随着机器学习方法的出现，核方法已经变得众所周知并且经常用于模式检测和辨别问题。与本文在此推广的一般理论相关的几个概念已经以不同的形式重新发现，并以不同的名称呈现，例如归一化卷积，双边滤波，边缘定向插值和移动最小二乘法。

一维数据：

表示未知的回归函数，核回归的目标是通过观察数据y估计未知回归函数，同时这个过程也可以看作去噪的过程。是独立且均匀分布零均值噪声值（否则假定没有特定的统计分布）。核回归在全局信号或噪声模型中，用于以最小的假设计算函数的逐点估计。

假设对某个N阶是平滑的，如果在X在处接近样本，有N项泰勒级数：

上式说明如果把泰勒级数作为回归函数的局部估计，则估计参数就是基于数据的回归函数估计，参数给出了回归函数N阶微分的局部信息。因为这个方法是基于局部逼近的，所以一个符合逻辑的思想就是：给定点附近的采样点比较远采样点权重要高。使用最小二乘公式解决以下优化问题：

是核函数，它以估计点为中心，用来控制各个采样点的权重：距离x越近的点，权值越大。h是平滑参量（标量），用来控制这个核尺度。核函数形式不确定，只需要满足关于y轴对称并在零处取最大值。

K是对称函数，0处最大。满足：

c是常数，K函数的选择是开放的，可以选择如高斯函数等，众所周知，对于经典回归的情况，内核的选择对估计的准确性只有很小的影响，因此，优先选择具有低计算复杂度的可微内核，例如高斯内核。

要点：1、核回归方法允许针对数据的局部特征来调整估计问题，而标准参数模型通常旨在作为全局拟合。2、在估计局部结构时，与离分析窗口中心较远的样本相比，附近的数据具有更高的权重。3、这些方法并不特别要求遵循规则或等等间隔采样规则，只要样本靠近点，样本就是有效的。4、所提出的方法既适用于去噪，也适用于在没有实际样本存在的点处对采样数据进行插值，所以基于内核的方法非常适用于感兴趣的大范围的图像处理问题。

 

N=0时，获得一个局部线性的自适应滤波器，即NWE：

NWE是由内核框架产生的自适应滤波的最简单形式。阶数N核平滑度h同时影响偏差核方差，一般地，N越小（得到的图像更加光滑），偏差越大，方差越大。h越小，偏差越小，方差越大。

第一排的实验数据表明，计算更复杂的高阶插值（N=2）产生比低阶插值（N=0或N=1）更好的估计。

第二排的实验数据表明，对于高噪声数据集（加性高斯噪声0.5的方差）低阶回归器的性能更好。

B.二维情形

二维数据：

是2*1的向量。

局部展开式：

 

表示2*1的梯度算子

表示2*2的黑塞矩阵（描述函数的局部曲率，对称的）

表示向量化算子，示例：

从下面最优问题中求得：

K是二维核函数，H是2*2阶的平滑函数

不论阶数为多少，目的是为了估计出像素值，所以只需要估计出参数即可，故最小二乘简化为：

 

C.等价内核

本文为上述核回归问题提供了计算上更有效和直观的解决方案。

表示（N+1）*（N+1）的矩阵

表示l*m大小的矩阵，当N=2时：

式26可以表示局部滤波的过程：

高阶回归（N>0）是零阶回归的等价物，但具有更复杂的核函数，为了实现更高阶的回归，原始内核被修改以产生新适应的“等效”内核。

 

E.平滑矩阵的选择

估计子的性能是依赖平滑矩阵H的，在数据是二维的情形下，H是2*2阶的矩阵，它能扩充回归核的足迹以包含足够的样本。如下图所示，在具有更多可用样本的区域中使用较小的内核是合理的，而较大的内核更适合于图像的较稀疏采样区域。

交叉验证法估计局部平滑矩阵：

h是全局平滑参数，是捕获数据样本局部密度的标量，通常设为1 。

h由此可得：

由此可得：

经典核回归方法相当于一个自适应局部线性滤波过程。经典算法在图像平滑区域可以获得近似最佳的滤波效果，但对图像边缘的像素估计时，容易造成边缘模糊。这是由于在图像边缘附近存在很多跳变点，因此核窗口中包含不连续的样本点，使得核估计的结果存在较大的偏差。

自适应数据的核回归

经典核回归估计，是数据的局部线性组合，尽管具有很好的性质，且相对容易理解，但因为数据的局部线性条件而存在固有限制。为了更有效地适应于各种数据，使得模型具有非线性，可以考虑在经典方法以像素位置决定权值的基础上引入像素灰度值。即核函数在计算权值时考虑两个因素：空间距离核灰度距离，称为自适应控制核回归。自适应核回归不仅依赖于采样位置核密度，也依赖于这些采样点的密度。因此，回归核的有效尺寸和形状是与图像局部特征相关的。经典核回归和自适应数据核回归的比较如下图所示：

引入灰度距离后，原来的最优问题就变为：

 

A.双边核

用分离项处理空间距离和灰度距离：

为空间平滑矩阵，为灰度平滑标量。

当N=0时，得到数据自适应的NWE：

这个形式就是双边滤波器。将K分解为空间核及灰度核会影响估计子的性能，因为它忽略了像素的空间位置核像素值之间的关系，并且在噪声比较严重的数据中，因为灰度差都很大，导致灰度权值都趋于0，从而达不到引入灰度核的效果。

 

B.控制核

的效果实际上是一个像素在某个领域局部梯度估计，并使用这个估计结果来对数据加权。本文的控制核回归算法分为两步，首先，用经典的核回归方法估计图像初始值。第二，利用这个初始估计来度量图像的局部核的主方向，即利用这个初始估计来自适应地“控制”局部核，这样就可以形成一个形状类似局部边缘结构方向扩展椭圆轮廓地函数。有了这些局部自适应核，就可以有效恢复图像边缘。

现在是数据相关的完整矩阵，我们称之为导向矩阵。定义为：

是基于局部灰度值的差值的协方差矩阵。如上图所示，好的值将有效地沿着局部边缘扩展核函数。假如选择的是高斯核：

局部边缘结构与梯度协方差（或等效地，局部主导方向）相关，其中可以如下获得该协方差矩阵的朴素估计：

是沿着x1和x2方向上的一阶导数。是包含待估计点的局部分析窗口，梯度的局部主方向与这个矩阵的特征向量有关。

对角化成正则化方法可以获得协方差矩阵稳定的估计：

是旋转矩阵，是伸缩矩阵，协方差矩阵三个参数决定分别是尺度，旋转以及伸缩参数。如图9所示，参数如何影响核的扩展。

局部梯度主方向对应于局部梯度矩阵的最小奇异值（非0）的奇异向量。

是个2*2的对角矩阵，它表示主方向的能量。2*2阶的正交矩阵的第二个列向量定义了主方向的角度：

对应于的最小非零奇异值的奇异向量表示局部梯度场的主导方向。

正则化参数和是用来防止核的形状变得无限窄和长。

M是局部分析窗口中的样本数。M是为了产生清晰图像的同时减少噪声影响在平坦（平滑）区域选择较大脚印，纹理区域选择小脚印。使得控制核在平滑区域变大，在纹理区域变小。

 

C.迭代的控制核回归

由于被估计的控制核的平滑矩阵依赖于样本，所以它对输入图像中的噪声是敏感的（即噪声对估计结果影响较大），当引入一个迭代过程后，去噪效果可以更好每次迭代的输出图像用来估计下一次迭代中核的灰度项。增加迭代次数将导致方差减小，偏差增大，从而导致图像模糊。因此只需要几次迭代，一般在5次以内，就可以获得最小的均方根误差。迭代回归方法具有使用直接估计梯度的好处。离散梯度通常通过带通滤波器于图像进行卷积来近似表示。

如图所示：第一步，产生输出图像的初始估计。第二步，重构的图像用来计算更可靠的梯度估计这个过程需要若干次迭代。