图像降噪：Kernel Regression for Image Processing and Reconstruction

Kernel Regression for Image Processing and Reconstruction

本篇论文是一个基于核回归的图像处理框架，其所提出的核回归方法在图像降噪、融合、超分辨等领域均有广泛应用。本篇论文是 Hiroyuki Takeda的博士论文，是对其前后发表的多篇关于核回归的总结：《Image denoising by adaptive kernel regression》、《Kernel regression for image processing and reconstruction》、《Robust kernel regression for restoration and reconstruction of images from sparse noisy data》。

回归

回归是监督学习中的一个重要问题，用于预测输入变量$X$与输出变量$Y$之间的关系，等价于函数拟合：
$$y_i=m(x_i)+{ϵ}_i;m(.)=E(y|x);E(ϵ)=0$$
例如，使用$n-1$阶多项式就可以完美拟合$n$个观测数据$(x_i,y_i)$，当$n$稍大时，观测数据取值范围以外的数据容易出现[龙格现象](http://www.tlu.ee/~tonu/Arvmeet/Runge’s phenomenon.pdf)，无法实现对全局数据的推断和预测，这自然就引出了一套局部化的非参数估计方法。

• 参数回归(Parametric Regression)
  在参数回归中往往假定输入变量$X$与输出变量$Y$之间函数关系的形式$m$是已知的，即通常给出其参数形式的假定，例如最经典的线性回归模型：
  $$y_i=\beta x_i+{ϵ}_i$$
  而在实际应用过程中，函数关系的形式往往是未知的，不正确函数形式的假设往往会造成对全局数据的正确推断和预测。
• 半参数回归(Sime-Parametric Approach)
  半参数回归中包含参数模型，用以把握变量$Y$的大致走势，非参数模型，用以对$Y$做局部调整，使模型更好地拟合输入变量，所以半参数回归模型同时兼顾数据的确定性规律与非确定性规律，具有很好的适应性：
  $$y_i=\beta x_i+m_z(z_i)+{ϵ}_i$$
• 非参数回归
  非参数回归和参数回归是相对的，完全不假设样本的分布函数，由样本本身来决定模型的结构：
  $$y_i=m(x_i)+{ϵ}_i;$$
  在非参数回归中，核回归(Kernel Regression)是用核函数作为权重对输入变量在其局部邻域内的加权平均作为对输出变量的估计，最常用于降噪当中，Nadaraya-Watson Estimator(NWE)为最早被提出的核回归方法：
  $$\begin{array}{rl}y=\hat{m}(x)& =\frac{{\sum }_{i=1}^n{K}_{h_x}\left(x-x_i\right)y_i}{{\sum }_{i=1}^n{K}_{h_x}\left(x-x_i\right)}\\ & =\sum _{i=1}^n{W}_{h_x}\left(x,x_i\right)y_i\end{array}$$

经典核回归

首先针对一维观测数据，将输入变量$X$与输出变量$Y$间的映射关系做如下表示：
$$y_i=z(x_i)+{ϵ}_i;i=1,2,...,P\text{\hspace{1em}(1)}$$
其中$z$的形式未知，$ϵ$为均值为0的噪声，假设$z$是局部平滑的，为了估计点$x$(在$x_i$附近)的输出值$y$，对上式做$N$阶泰勒展开：
$$\begin{array}{rl}z\left(x_i\right)& \approx z(x)+z^{\prime }(x)\left(x_i-x\right)+\frac{1}{2!}{z}^{\prime \prime }(x){\left(x_i-x\right)}^2+\cdots +\frac{1}{N!}{z}^{(N)}(x){\left(x_i-x\right)}^N\\ & ={\beta }_0+{\beta }_1\left(x_i-x\right)+{\beta }_2{\left(x_i-x\right)}^2+\cdots +{\beta }_N{\left(x_i-x\right)}^N\end{array}\text{\hspace{1em}(2)}$$
以上泰勒展开是对函数$z$在点$x_i$处的局部近似，自然离点$x$越远的采样点的权重越小，即求解式(2)的损失函数如下：
min ⁡ { β n } n = 0 N ∑ i = 1 P [ y i − β 0 − β 1 ( x i − x ) − β 2 ( x i − x ) 2 − ⋯ − β N ( x i − x ) N ] 2 1 h K ( x i − x h ) (3) \min _{\left\{\beta_{n}\right\}_{n=0}^{N}} \sum_{i=1}^{P}\left[y_{i}-\beta_{0}-\beta_{1}\left(x_{i}-x\right)-\beta_{2}\left(x_{i}-x\right)^{2}-\cdots-\beta_{N}\left(x_{i}-x\right)^{N}\right]^{2} \frac{1}{h} K\left(\frac{x_{i}-x}{h}\right)\tag{3} { βn​}n=0N​min​i=1∑P​[yi​−β0​−β1​(xi​−x)−β2​(xi​−x)2−⋯−βN​(xi​−x)N]2h1​K(hxi​−x​)(3)
其中$K(.)$为核函数，$h$为的平滑参数，且核函数需要满足以下条件：
$${\int }_{R^1}tK(t)dt=0,{\int }_{R^1}{t}^{2}K(t)dt=c\text{\hspace{1em}(4)}$$
其中$c$为常数，实验表明，核函数的选择对估测结果的准确性不起决定性作用，因此，一般选择计算复杂度较低的高斯核函数。

一些常用的核函数

除了核函数的选取，泰勒展开的阶数也对最终的近似结果起到非常关键的作用，总的来说$N$越小，图像越平滑，$N$越大越多噪声残留。特别的，当$N=0$时，核回归退化为NWE：
$$\hat{z}(x)=\frac{{\sum }_{i=1}^P{K}_h\left(x_i-x\right)y_i}{{\sum }_{i=1}^P{K}_h\left(x_i-x\right)},K_h(t)=\frac{1}{h}K\left(\frac{t}{h}\right)\text{\hspace{1em}(5)}$$
下面是不同展开阶数的核回归的对含噪数据的拟合情况，当噪声水平较低$N=2$阶核回归的拟合性能较好，当噪声水平较高$N=0、1$阶核回归的拟合性能较好。

不同阶数的展开方式对不同信噪比信号的拟合结果

同一维观测数据相似，将二维观测数据做如下表示：
$$y_i=z\left({\mathbf{x}}_i\right)+{\epsilon }_i;{\mathbf{x}}_i={\left[x_{1i},x_{2i}\right]}^T;i=1,2,\cdots ,P\text{\hspace{1em}(6)}$$
其中$\mathbf{x}$为坐标，对应的泰勒展开为：
z ( x i ) ≈ z ( x ) + { ∇ z ( x ) } T ( x i − x ) + 1 2 ! ( x i − x ) T { H z ( x ) } ( x i − x ) + ⋯