非参数统计中的核平滑方法/Kernel smoother

Kernel Smoother

  核函数$K_{h_{\lambda }}(X_0,X)$定义为
$$K_{h_{\lambda }}(X_0,X)=D(\frac{||X-X_0||}{h_{\lambda }(X_0)})$$
其中，$X,X_0\in {\mathbb{R}}^p$，$||\cdot ||$为欧拉范数，$h_{\lambda }(X_0)$为参数（核半径 kernel radius），$D(t)$通常是正实值函数，关于$||X-X_0||$非增。

  设$f(x):{\mathbb{R}}^p\to \mathbb{R}$为$x$的连续函数，样本 { ( x i , Y i ) , i = 1 , . . . , n } \{(x_i,Y_i),i=1,...,n\} {(xi​,Yi​),i=1,...,n}来自
$$Y_i=f(x_i)+{ϵ}_i$$
对任意$x_0\in {\mathbb{R}}^p$，Nadaraya-Watson核加权平均（$f(x)$的估计）定义为，
$$\hat{f}(x_0)=\frac{{\sum }_{i=1}^n{K}_{h_{\lambda }}(x_0,x_i)Y_i}{{\sum }_{i=1}^n{K}_{h_{\lambda }}(x_0,x_i)}$$
下面介绍几种特殊的核平滑方法。

1. Nearest neighbor smoother

  近邻平滑器的思想是：对任意的点$x_0$，选取其$m$个最近邻函数值的平均值作为$f(x_0)$的估计。具体地，
$$h_m(x_0)=||x_0-x_{[m]}||$$
其中$x_{[m]}$为$x_0$的第$m$个近邻，
$$D(t)=\{\begin{array}{l}\frac{1}{m},|t|\le 1\\ 0,otherwise\end{array}$$

  上图中，红色的点为$x_0$的$m$个近邻，$f(x_0)$的估计为这些红点函数值的加权平均。
  这种方法得到的估计不是很光滑。

2. Kernel average smoother

  核平均平滑器的思想是：对任意的点$x_0$，选取一个常数距离$\lambda$（核半径，或1维情形的窗宽），然后计算到$x_0$的距离不超过$\lambda$的数据点的加权平均（权：离$x_0$越近，权重越大）作为$f(x_0)$的估计。具体地，
$$h_{\lambda }(x_0)=\lambda =constant$$
$D(t)$为任一核函数。
  对任意$x_0$，窗宽是固定的，每个数据点的权重由黄色区域显示。
  可以看出，这种方法得到的估计是光滑的，但是边界点函数值的估计是有偏的，这是因为在边界点处的左邻域与右邻域内的数据点不均匀导致的（只用到了单边邻域的信息）。

3. Local linear regression

  Nearest neighbor smoother与Kernel average smoother均假设$f(x)$在很小的局部区间内是常数，因此可以通过邻域内函数值的加权平均估计函数。局部线性回归假设局部邻域内函数值是一条直线（高维情形是超平面），而不是常数（水平面），因此，局部线性回归方法首先在局部拟合一条直线，然后取$x_0$在这条直线上的值作为$f(x_0)$的估计。具体地，
$$h_{\lambda }(x_0)=\lambda =constant$$
求解如下加权最小二乘问题（一维情形）
$${\alpha }_0,{\beta }_0=\arg \underset{\alpha (x_0),\beta (x_0)}{\min }\sum _{i=1}^n{K}_{h_{\lambda }}(x_0,x_i)(Y_i-\alpha (x_0)-\beta (x_0)x_i{)}^2$$
$f(x_0)$的估计：
$$\begin{array}{rl}\hat{f}(x_0)& ={\alpha }_0+{\beta }_0{x}_0\\ & =(1,x_0)(B^{T}W(x_0)B{)}^{-1}{B}^{T}W(x_0)y\end{array}$$
其中，
$$y=(Y_1,...,Y_n{)}^T,W(x_0)=diag(K_{h_{\lambda }}(x_0,x_i){)}_{n\times n}$$

$$B^T=\left(\begin{array}{cccc}1& 1& ...& 1\\ x_1& x_2& ...& x_n\end{array}\right)$$

  可以看出，这种方法得到的估计是光滑的，并且边界点处的估计也是无偏的。

4. Local polynomial regression

  局部多项式回归假设局部邻域内函数是一个多项式函数，对一维情形，需极小化
$${\alpha }_0,{\beta }_{j,0}=\arg \underset{\alpha (x_0),{\beta }_j(x_0),j=1,...,d}{\min }\sum _{i=1}^n{K}_{h_{\lambda }}(x_0,x_i)(Y_i-\alpha (x_0)-\sum _{j=1}^d{\beta }_{j,0}{x}_0^j{)}^2$$
$f(x_0)$的估计：
$$\hat{f}(x_0)={\alpha }_0+\sum _{j=1}^d{\beta }_{j,0}{x}_0^j$$

资料：
Kernel smoother
Nonparametric Local Polynomial Smoother