ESL 读书笔记：Chap 6 Kernel Smoothing Methods

Chap 6 Kernel Smoothing Methods

在这一章首先介绍一种回归方法，通过在X不同位置$x_0$的点拟合简单模型$f_{x_0}$，从而达到在所有取值空间${\Re }^p$光滑的目的。其中需要使用到smooth的方法，使用kernel，基于两点之间的距离表示$x_i$对$x_0$的影响权重，是一种memory-based的方法。很多时候Kernel还和一个参数$\lambda$有关，用于表示neighborhood的宽度。这样的思路对于核密度估计以及分类都是很有效的。

需要注意的是，这里的核方法核后续介绍SVM等等方法种使用到的是不一样的。

One-Dimensional Kernel Smoothers

回顾另一种memory-based的方法：KNN。KNN实际上可以表示为：
$$\hat{f}(x)=\text{Ave}(y_i|x_i\in N_k(x))$$
其中$N_k(x)$表示x的k近邻集合。易知这种方法得到的函数估计并不是光滑的，因为K近邻集合的变化本身就不是光滑的，这样的不连续性是不必要的，我们往往会假设观测Y是：
$$Y=f(X)+ϵ$$
其中f是光滑的函数，并具有高阶导数。

所以希望可以进行改进，KNN中对K近邻中的点给予相等的权重，K近邻外的点权重为0，现在的改进就是对所有点都给予一个与距离负相关的权重，并且权函数是光滑的，由此得到的拟合函数也会是光滑的。最常见的加权平均形式就是Nadaraya–Watson weighted average：
$$\hat{f}(x_0)=\frac{{\sum }_{i=1}^N{K}_{\lambda }(x_0,x_i)y_i}{{\sum }_{i=1}^N{K}_{\lambda }(x_0,x_i)},$$
其中，
$$K_{\lambda }(x_0,x)=D\left(\frac{|x-x_0|}{h_{\lambda }(x_0)}\right).$$
D(.)是事先给定的与$h_{\lambda }(.)$无关的函数，越靠近0值越小。因此$h_{\lambda }(.)$实际上是对距离的一种scale，常见的选择又两种：

• $h_{\lambda }(x)=\lambda$

  此时$\lambda$越大，对距离缩减的越多，也就是真正权重大的window越大，这会导致进行加权的点越多，从而方差越小；进行加权的点距离X越远，从而偏差越大。

  由于对于真实的函数f进行连续光滑的假设，所以距离$x_0$充分近，可以认为f(.)近似相等，bias越小

  一旦$\lambda$取定为某一合适值，bias几乎是不变的，var则需要根据X的分布密度而定（因为此时权重和绝对距离有关，所以权重较大的区域不论$x_0$周围是怎样的，这个区域的大小都是固定的，平均的点都是距离$x_0$比较近的，bias都比较小，而var则和参与主要加权的点的个数有关，所以和落入这个固定大小的区域的点个数有关，和X的分布有关）

• $h_k(x_0)=|x_0-x_{[k]}|$

  其中$x_{[k]}$是样本点中距离$x_0$第k近的。这种情况下，var是几乎不变的，bias则与X的分布密度有关（因为此时权重和相对距离有关，所以权重较大的区域和$x_0$周围点的分布情况相关，由于是对k近邻的点加权的，所以权重较大的区域可以认为就是K近邻点的集合区域，因此点的个数相对是固定的，方差几乎不变，但是这个区域的大小并不固定，参与主要加权的点距离$x_0$的距离和X的分布有关，因此bias并不是固定的）

• 当X中存在大量相等的情况，使用nearest-neighbors kernel会出现问题，比如由于K近邻只能看到那几个位置的点，没有充分发挥近邻的思想，因此常用的方法是将对应的Y进行平均作为一个点看待，加权的时候权重需要乘以平均的X的个数以体现异质性

常见的核函数$D(.)$有以下几种：

1. Epanechnikov kernel
   $$D(t)=\{\begin{array}{ll}\frac{3}{4}(1-t^2)& \text{if}|t|\le 1;\\ 0& \text{otherwise}.\end{array}$$
   具有紧支集，一阶不可导

2. tri-cube function
   $$D(t)=\{\begin{array}{ll}(1-|t{|}^3{)}^3& \text{if}|t|\le 1;\\ 0& \text{otherwise}\end{array}$$
   具有紧支集，一阶可导

3. Gaussian kernel
   $$\varphi (t)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{x^2}{2})$$
   不具有紧支集，但是由于3$\sigma$原则，尾部可以近似认为是0，很常用

Local Linear Regression

如果直接使用以上叙述的局部加权进行预测，则预测的bias在边界点较大，因为核函数是对称的；一种减少误差的方法是使用局部线性回归，它可以把误差控制在一阶导数之后。

局部线性回归：
$$\begin{array}{r}\underset{\alpha (x_0),\beta (x_0)}{\min }\sum _{i=1}^N{K}_{\lambda }(x_0,x_i){\left[y_i-\alpha (x_0)-\beta (x_0)x_i\right]}^2.\end{array}$$
由此对$x_0$处的点进行估计：
$$\begin{array}{r}\hat{f}(x_0)=\hat{\alpha }(x_0)+\hat{\beta }(x_0)x_0.\end{array}$$
需要注意的是，\textbf{虽然在拟合的时候，对所有的点进行加权最小二乘估计，但是只能用于估计$x_0$的值!}将系数估计值带入：
$$\begin{array}{rcl}\hat{f}(x_0)& =& b(x_0{)}^T({\mathbf{B}}^T\mathbf{W}(x_0)\mathbf{B}{)}^{-1}{\mathbf{B}}^T\mathbf{W}(x_0)\mathbf{y}\\ & =& {\sum }_{i=1}^N{l}_i(x_0)y_i.\end{array}$$
可以看到还是对$Y$的线性加权。其中$l_i(x_0)$有时也被称作equivalent kernel.这个权重相对于直接的核函数加权并不一定是对称的，还可以根据数据灵活调整每一个点的权重，因此可以缓解bias大的情况（图中绿色的点表示了equivalent的权重$l_i(x_0)$）。

Local Polynomial Regression

将局部线性回归继续推广成局部多项式回归(degree=d)：
$$\begin{array}{r}\underset{\alpha (x_0),{\beta }_j(x_0),j=1,\dots ,d}{\min }\sum _{i=1}^N{K}_{\lambda }(x_0,x_i){\left[y_i-\alpha (x_0)-\sum _{j=1}^d{\beta }_j(x_0)x_i^j\right]}^2\end{array}$$
由此得到$x_0$处的估计值：$\begin{array}{r}\hat{f}(x_0)=\hat{\alpha }(x_0)+\sum _{j=1}^d{\hat{\beta }}_j(x_0)x_0^j.\end{array}$，并且我们有：
$$b_j(x_0)=\sum _{i=1}^N(x_i-x_0{)}^j{l}_i(x_0).$$
$$b_0(x_0)=1,b_k(x_0)=0,k=1,2,...,d$$
# 证明：

最小化：
$$\sum _{i=1}^N{K}_{\lambda }(x_0,x_i)(y_i-\alpha (x_0)-\sum _{j=1}^d{x}_j^j{\beta }_j(x_0){)}^2$$
也即加权最小二乘：
$$(Y-B\beta {)}^{T}W(Y-B\beta )$$
其中$B=[1,X,X^2,...,X^d]$，$W=diag(K_{\lambda }(x_0,x_i))$，记$b(x)=[1,x,x^2,...,x^d{]}^T$
则易知：
$$\hat{\beta }=(B^{T}WB{)}^{-1}{B}^{T}WY$$
$$\hat{y}(x_0)={\hat{\beta }}^{T}b(x_0)=b(x_0{)}^T(B^{T}WB{)}^{-1}{B}^{T}WY$$
从而$L(x_0{)}^T=b(x_0{)}^T(B^{T}WB{)}^{-1}{B}^{T}W$

而本结论的证明最关键的一点是：
$$b(x_0{)}^T=b(x_0{)}^T(B^{T}WB{)}^{-1}{B}^{T}WB=L(x_0{)}^{T}B$$
所以：
$$b(x_0{)}_i=L(x_0{)}^T{B}_i$$
其中$B_i$表示B的第i个列向量。由此可以得到：
$$\sum _{i=1}^N{x}_i^j{L}_i(x_0)=x_0^j,j=0,1,2,...d$$
j=0,则${\sum }_{i=1}^N{L}_i(x_0)=1$;j>0:
$$\begin{array}{rl}\sum _{i=1}^N(x_i-x_0{)}^j{L}_i(x_0)=& \sum _{i=1}^N(\sum _{k=0}^d\left(\begin{array}{c}j\\ k\end{array}\right)x_i^k{x}_0^{j-k}(-1{)}^{j-k})\\ =& \sum _{k=0}^j\left(\begin{array}{c}j\\ k\end{array}\right)(-1{)}^{j-k}{x}_0^{j-k}\sum _{i=1}^N{x}_i^j{L}_i(x_0)\\ =& \sum _{k=0}^j\left(\begin{array}{c}j\\ k\end{array}\right)(-1{)}^{j-k}{x}_0^{j-k}{x}_0^k\\ =& 0\end{array}$$

现在来分析bias：
$$\begin{array}{rl}E\hat{f}(x_0)& \begin{array}{r}=\sum _{i=1}^N{l}_i(x_0)f(x_i)\end{array}\\ & =f(x_0)\sum _{i=1}^N{l}_i(x_0)+f^{\prime }(x_0)\sum _{i=1}^N(x_i-x_0)l_i(x_0)\\ & +\frac{f^{\prime \prime }(x_0)}{2}\sum _{i=1}^N(x_i-x_0{)}^2{l}_i(x_0)+...+\frac{f^{(d)}(x_0)}{d!}\sum _{i=1}^N(x_i-x_0{)}^d{l}_i(x_0)+R\\ & =f(x_0)+R\end{array}$$
其中R是更高阶的余项。根据$f(x)$光滑性的假设，高阶导数的绝对值会越来越小，因此随着d的增加，偏差逐渐减小。但同时，由于：
$$Var(\hat{f}(x_0))=\sum _{i=1}^N{l}_i^2(x_0){\sigma }^2$$
再由一系列线性代数运算知道$||l(x_0)|{|}_2^2$随着d的增加而增加，因此随着d的增加，方差越大，这就有一个trade-off。

总的来说，对比局部线性回归和局部多项式回归，我们有一些结论：

1. 局部线性回归可以很好地减少边界点处估计的偏差，局部多项式回归虽然也可以进一步减少偏差，但是会增大方差；

2. 局部线性回归在曲线的波峰或波谷上拟合效果较差，此时可以考虑使用局部多项式回归

3. 局部多项式回归中，更建议使用偶数次的多项式（\emph{这里其实没有太理解为什么，原文说的是"Asymptotic analysis suggest that local polynomials of odd degree dominate those of even degree. This is largely due to the fact that asymptotically the MSE is dominated by boundary effects."}）

4. 由于更多的时候是关注外推的结果，所以为了减小方差，更常用的是局部线性回归

Selecting with Width of the Kernel

如果选择$h_{\lambda }(x)=\lambda$，有一个问题就是选择$\lambda$，也就是选择kernel的width，这对于Epanechnikov或tri-cube kernel，影响的是支集的范围，对Gaussian kernel来说，影响的是标准差。对于局部线性回归来说，如果width $\to$ 0，就相当于只能看见当前点，近似于一个线性插值函数；如果width $\to +\infty$，就相当于每个点都看到了并且是等权重的，近似于OLSE。类似的，在局部线性回归中：
$$\hat{f}(x_0)=b(x_0{)}^T({\mathbf{B}}^T\mathbf{W}(x_0)\mathbf{B}{)}^{-1}{\mathbf{B}}^T\mathbf{W}(x_0)\mathbf{y}$$
其中B是1和X组合的矩阵，$W(x_0)$则考虑到了$\lambda$，和定义岭回归自由度一样可以定义局部线性回归自由度为$trace(S_{\lambda }={\sum }_{i=1}^N{l}_i(x_i)$(事实上，$S_{ij}=l_i(x_j)$)。

Local Regression in ${\Re }^p$

现在推广到X是多元的情况。如果是degree=d的局部多项式回归，那么就需要衍生出可能的交互项和高阶项，这和没有结点的基函数是类似的。再进一步使用最小二乘回归进行系数估计即可。（注：由于计算kernel得到weight的时候需要计算距离，所以需要先标准化到同一量纲）

对于一维的情况都容易出现边界点对整体估计影响大的情况，在高维更是如此（由维度灾难理论，更多的点会集中在边界处）。局部多项式回归调整d可以减少偏差，但是在高于3维的时候，局部线性回归就已经不再适用了。并且也不再适合直接使用点图来进行可视化，更多的是使用condition plots，也就是在控制其余几个变量不同值的时候，针对剩余1个变量的可视化插值图。

Structured Local Regression Models in ${\Re }^p$

当维度和样本量的比例并没有很小的时候，local regression并不会有很好的效果（维度灾难），此时可以根据数据做出一些结构化的假设，例如是具有稀疏的特征等等。

Structured Kernels

\textbf{第一种进行结构化调整的方法是直接调整local regression的核函数}，一般的核函数对于X的每一维是等权重的，也就是：
$$K_{\lambda }(x_0,x)=D\left(\frac{||x-x_0||}{\lambda }\right),$$
由于是等权重的所以一般需要先进行标准化。而structured kernels则是直接进行非等权的处理：
$$K_{\lambda ,A}(x_0,x)=D\left(\frac{(x-x_0{)}^T\mathbf{A}(x-x_0)}{\lambda }\right).$$
其中A是一个半正定的矩阵，可以选为${\hat{\Sigma }}^{-1}$，或者选为对角阵来直接单独调整每一个维度的权重，总之调整A来进行一些结构上的调整是一种方法，但是我们更倾向使用的是下面介绍的方法。

Structured Regression Functions

由于是使用f来拟合$E(Y|X)=F(X_1,X_2,...,X_p)$所以一种很直接的想法是使用ANOVA中主效应、交互效应加和的分解方法：
$$f(X_1,X_2,\dots ,X_p)=\alpha +\sum _j{g}_j(X_j)+\sum _{k<\ell }{g}_{k\ell }(X_k,X_{\ell })+\cdots$$
当然其中高阶的交互项并不会纳入考虑。拟合locally版本的$f(X)=\alpha +{\sum }_{j=1}^p{g}_j(X_j)$一种方法是：假设已知除了第k项之外其余项的估计，则对于残差和第k项进行拟合，再对每一项重复以上过程直到收敛。需要注意的是，每一次拟合的时候都是一个local regression，以上方法对于低维度的ANOVA分解拟合比较常用。

一个structured model很重要的例子是varying coefficient models，假如把整个X分成两部分，$(X_{i1},X_{i2},...,X_{ip})$以及$Z=(X_{j1},X_{j2},...X_{jq})$这两个集合可以有重叠的部分。构建模型：
$$f(X)=\alpha (Z)+{\beta }_1(Z)X_{i1}+\cdots +{\beta }_p(Z)X_{ip}.$$
例如一元局部线性回归实际上就是Z=X，$f(X)={\beta }_0(X)+{\beta }_1(X)X$。当给定Z的时候，以上模型是一个线性模型，但$\beta$会随着Z变化而变化。这个模型的参数估计一种很自然的想法就是使用局部线性回归：
$$\begin{array}{r}\underset{\alpha (z_0),\beta (z_0)}{\min }\sum _{i=1}^N{K}_{\lambda }(z_0,z_i){\left(y_i-\alpha (z_0)-x_{1i}{\beta }_1(z_0)-\cdots -x_{pi}{\beta }_p(z_0)\right)}^2.\end{array}$$

【注】：从这里就可以看出local方法的优点，并没有直接建模${\beta }_{.}(Z)$和Z之间的关系，而是使用local的方法，每次拟合的时候given Z从而拟合所有可能的函数

Local Likelihood and Other Models

回顾上一节的方法，也就是使用local regression+varying coefficient，从某种程度上说，任何参数化的模型都可以使用这种方法进行拟合：

1. 对数似然函数具有这样的形式：
   $$l(\beta )=\sum _{i=1}^{N}l(y_i,x_i^T\beta ).$$
   其中${\theta }_i=\theta (x_i)=x_i^T\beta$，可以使用local的方法使得模型更加flexible$\theta (x_0)=x_0^T\beta (x_0)$，也就是：
   $$l(\beta (x_0))=\sum _{i=1}^N{K}_{\lambda }(x_0,x_i)l(y_i,x_i^T\beta (x_0)).$$
   使用local likelihood相对于类似逻辑回归这种log-linear model来说，将全局的线性缩小到局部的线性，是更加flexible的。

从这个例子也可以看出locally regression+varying coefficient应用的一般形式，首先对于感兴趣的函数使用varying coefficient的线性加和的形式进行建模，再对目标函数局部使用使用核函数（关于coefficient的变量）进行加权最大/小化

2. 将上一种方法进行推广：
   $$l(\theta (z_0))=\sum _{i=1}^N{K}_{\lambda }(z_0,z_i)l(y_i,\eta (x_i,\theta (z_0))).$$
   也就是没有局限于只能$\theta$是一个线性的形式。

3. 自回归模型中$y_t={\beta }_0+{\beta }_1{y}_{t-1}+{\beta }_2{y}_{t-2}+\cdots +{\beta }_k{y}_{t-k}+{\epsilon }_t.$,也就是$z_t=(y_{t-1},y_{t-2},\dots ,y_{t-k}),y_t=z_t^T\beta +{ϵ}_t$，再使用最小二乘估计进行拟合就行。而如果使用由核函数$K(z_0,z_t)$加权的最小二乘加权，并辅佐局部最小二乘回归，则可以得到一个根据t变化系数的自回归模型。

4. 局部多分类逻辑回归

$$\begin{array}{rl}\begin{array}{r}\sum _{i=1}^N{K}_{\lambda }(x_0,x_i)\end{array}& \{\begin{array}{l}{\beta }_{g_{i}0}(x_0)+{\beta }_{g_i}(x_0{)}^T(x_i-x_0)\end{array}\\ & -\log \left[1+\sum _{k=1}^{J-1}\exp \left({\beta }_{k0}(x_0)+{\beta }_k(x_0{)}^T(x_i-x_0)\right)\right]\}\end{array}$$
可以看到由于在最小化的损失函数中，已经围绕$x_0$进行了中心化，所以$x_0$处的估计为：
$$\widehat{\mathrm{Pr}}(G=j|X=x_0)=\frac{e^{{\hat{\beta }}_{j0}(x_0)}}{1+{\sum }_{k=1}^{J-1}{e}^{{\hat{\beta }}_{k0}(x_0)}}.$$
这个模型相较于一般的多分类逻辑回归是更加flexible的。

特别地，以上方法和使用Nadaraya-Watson kernel smoother估计得到的概率是完全相等的。 对于Nadaraya-Watson kernel smoother有：
$$\mathrm{P}(G=j|X=x_0)=\frac{{\sum }_{i\in G_j}{K}_{\lambda }(x_0,x_i)}{{\sum }_{i=1}^N{K}_{\lambda }(x_0,x_i)}\propto \sum _{i\in G_j}{K}_{\lambda }(x_0,x_i).$$
而对于以上的局部多项式逻辑回归，损失函数对每一个系数求导：
$$\begin{array}{rl}\frac{\partial l(\beta ,x_0)}{\partial {\beta }_{j0}}& =\sum _{i=1}^N{K}_{\lambda }(x_0,x_i)\left(1(y_i=j)-\frac{e^{{\beta }_{j0}+{\beta }_j^T(x_i-x_0)}}{1+{\sum }_{l=1}^{K-1}{e}^{{\beta }_{l0}+{\beta }_l^T(x_i-x_0)}}\right)\\ & =\sum _{i\in G_j}{K}_{\lambda }(x_0,x_i)-e^{{\beta }_{j0}}\cdot \sum _{i=1}^N{K}_{\lambda }(x_0,x_i)\frac{e^{{\beta }_j^T(x_i-x_0)}}{1+{\sum }_{l=1}^{K-1}{e}^{{\beta }_{l0}+{\beta }_l^T(x_i-x_0)}}\\ & =0.\end{array}$$
从而有：
$$\widehat{\mathrm{Pr}}(G=j|X=x_0)\propto \exp ({\hat{\beta }}_{j0})\propto \sum _{i\in G_j}{K}_{\lambda }(x_0,x_i).$$
也就是二者是等价的！

Kernel Density Estimation and Classification

本节介绍核密度估计以及由此引申出的分类方法。

Kernel Density Estimation

一种最容易使用的密度估计方法（直方图法）是：
$${\hat{f}}_X(x_0)=\frac{\#x_i\in \mathcal{N}(x_0)}{N\lambda },$$
其中$N(x_0)$表示以$x_0$为中心$\lambda$为带宽内的样本点个数。不难发现这个方法得到的密度函数是一个阶梯函数（直方图），一种更加smooth的方法是基于核函数：
$${\hat{f}}_X(x_0)=\frac{1}{N}\sum _{i=1}^N{K}_{\lambda }(x_0,x_i),$$
在这个场景下最常用的核函数Gaussian kernel，也就是：
$$\begin{array}{rcl}{\hat{f}}_X(x)& =& \frac{1}{N}{\sum }_{i=1}^N{\varphi }_{\lambda }(x-x_i)\\ & =& (\hat{F}\star {\varphi }_{\lambda })(x),\end{array}$$
后一个式子表示经验分布函数和$\varphi$的卷积。并且这个形式很容易可以推广到高维：
$${\hat{f}}_X(x_0)=\frac{1}{N(2{\lambda }^2\pi {)}^{\frac{p}{2}}}\sum _{i=1}^N{e}^{-\frac{1}{2}(||x_i-x_0||/\lambda {)}^2}.$$

Kernel Density Classification

使用核密度估计的方法得到核密度估计函数，从而基于贝叶斯的思路可以很容易得到given标签y的条件密度X|Y，再结合先验概率得到Y|X的后验概率：
$$\widehat{\mathrm{Pr}}(G=j|X=x_0)=\frac{{\hat{\pi }}_j{\hat{f}}_j(x_0)}{{\sum }_{k=1}^J{\hat{\pi }}_k{\hat{f}}_k(x_0)}.$$

但以上分类器需要建立在核密度估计效果较好的前提下，如果在边界点或者sparse的地方，那么核密度估计的方差就会很大，影响分类的效果。事实上，如果分类才是最终的目的，也不太建议使用这个方法来进行。

The Naive Bayes Classifier

朴素贝叶斯方法在处理高维、多种数据类型的分类问题上具有较大的优势，它做出假设：X的每一维都是独立的。这样的假设使得在高维下可以分别估计每一维的核密度再相乘即得到最终的核密度，以简化计算，并且可以包容X是定类的数据类型：
$$f_j(X)=\prod _{k=1}^p{f}_{jk}(X_k).$$
虽然每一维独立的假设看起来不太合适，但在实践中，它的表现比很多复杂的分类器效果都要好很多。同样的，可以使用对数似然比最大来判别所属类别：
$$\begin{array}{rl}\log \frac{\mathrm{Pr}(G=\ell |X)}{\mathrm{Pr}(G=J|X)}& =\log \frac{{\pi }_{\ell }{f}_{\ell }(X)}{{\pi }_J{f}_J(X)}\\ & =\log \frac{{\pi }_{\ell }{\prod }_{k=1}^p{f}_{\ell k}(X_k)}{{\pi }_J{\prod }_{k=1}^p{f}_{Jk}(X_k)}\\ & =\log \frac{{\pi }_{\ell }}{{\pi }_J}+\sum _{k=1}^p\log \frac{f_{\ell k}(X_k)}{f_{Jk}(X_k)}\\ & ={\alpha }_{\ell }+\sum _{k=1}^p{g}_{\ell k}(X_k).\end{array}$$
可以看到，它具有一般线性模型的形式，但是和局部逻辑回归不一样的是，局部逻辑回归虽然也具有这样的似然比函数形式，但是对于X|Y的分布是没有任何限制的，但这里使用核密度估计的方法进行了限制。朴素贝叶斯实际上是针对$P(X|Y=i)$进行建模的，由此得到$P(Y|X)$；而逻辑回归则是直接针对$P(Y|X)$建模。

此外，朴素贝叶斯和general additive model（GAM）的区别在于，朴素贝叶斯假设每一维X都是独立的，但是GAM只是假设了相加的形式，这会导致在参数估计的时候出现查别。GAM往往需要使用backfitting或者是牛顿迭代来拟合，但是朴素贝叶斯基于独立性假设，使得可以对每一个维度单独使用核密度估计等方法来得到，不需要使用复杂的迭代算法。

Radial Basis Functions and Kernels

回顾第五章使用到的basis function的方法，由于knots的引入，实际上也具有一定的局部性，接下来希望可以将核函数的方法与basis function进行结合，使用核函数作为basis function，也就是radial basis functions:
$$\begin{array}{rcl}f(x)& =& {\sum }_{j=1}^M{K}_{{\lambda }_j}\left({\xi }_j,x\right){\beta }_j\\ & =& {\sum }_{j=1}^{M}D\left(\frac{||x-{\xi }_j||}{{\lambda }_j}\right){\beta }_j,\end{array}$$
在这种应用场景下常用的核函数仍然是高斯核。

接下来介绍参数$({\lambda }_i,{\xi }_i,{\beta }_i)$的估计方法，常用的一种还是最小二乘：
min ⁡ { λ j , ξ j , β j } 1 M ∑ i = 1 N ( y i − β 0 − ∑ j = 1 M β j exp ⁡ { − ( x i − ξ j ) T ( x i − ξ j ) λ j 2 } ) 2 . \min_{\{\lambda_j,\xi_j,\beta_j\}_1^M}\sum_{i=1}^N\left(y_i-\beta_0-\sum_{j=1}^M\beta_j\exp\left\{-\frac{(x_i-\xi_j)^T(x_i-\xi_j)}{\lambda_j^2}\right\}\right)^2. {λj​,ξj​,βj​}1M​min​i=1∑N​(yi​−β0​−j=1∑M​βj​exp{−λj2​(xi​−ξj​)T(xi​−ξj​)​})2.

1. 如果${\xi }_i,{\lambda }_i$已经given，那么估计${\beta }_0,{\beta }_i$就是OLSE

2. 估计${\xi }_i,{\lambda }_i$：只看X的分布特征，不考虑Y

   例如可以使用${\xi }_i,{\lambda }_i$作为混合高斯的均值和标准差，从而使用EM算法进行估计；又例如可以使用聚类算法，从而得到每一类的均值和标准差估计值作为参数估计值；甚至可以直接把${\lambda }_i=\lambda$作为超参数，对于${\xi }_i$作为使用聚类算法得到聚类的中心点

虽然将${\lambda }_i=\lambda$可以减少参数估计的数量，但是这样每一个核就没有在宽度上的异质性了，会产生低谷\ref{Gaussian V.S. Renormalized Gaussian}；更常用的方法是使用Renormalize radial basis functions:
$$h_j(x)=\frac{D(||x-{\xi }_j||/\lambda )}{{\sum }_{k=1}^{M}D(||x-{\xi }_k||/\lambda )},$$

如果使用Renormalized radial functions作为basis functions，则不难发现Nadaraya–Watson kernel regression estimator是它的一种特殊情况：
$$\begin{array}{r}\hat{f}(x_0)=\sum _{i=1}^N{y}_i\frac{K_{\lambda }\left(x_0,x_i\right)}{{\sum }_{i=1}^N{K}_{\lambda }(x_0,x_i)}\\ =\sum _{i=1}^N{y}_i{h}_i(x_0)\end{array}$$
可以认为相当于${\hat{\lambda }}_i=\lambda ,{\hat{\xi }}_i=x_i,{\hat{\beta }}_i=y_i$。

Radial basis functions搭建了核方法和局部回归之间的桥梁。

Mixture Models for Density Estimation and Classification

高斯混合模型密度函数形式：
$$f(x)=\sum _{m=1}^M{\alpha }_m\varphi (x;{\mu }_m,{\Sigma }_m)$$
其中${\sum }_{m=1}^M{\alpha }_m=1$。这可以看成是核方法的一个推广：

1. 如果${\Sigma }_m={\sigma }_{m}I$，就相当于一个${\lambda }_m={\sigma }_m,{\sum }_{m=1}^M{\alpha }_m=1$的radial basis expansion

2. 如果${\sigma }_m=\sigma$是固定的，M和N相等，则以上估计的结果会接近于${\hat{\alpha }}_m=1/N,{\hat{\mu }}_m=x_m$

使用混合模型对具有分类标签的总体进行核密度估计，虽然没有具体使用标签，但是仍然可以建模出两种总体的区别。