非参数估计—Parzen窗与K-nearest-neighbor

在之前的学习中，我们总是假设概率密度函数的参数形式已知，并在此条件下处理有监督学习过程。而在现实世界中，我们给出的概率密度函数很少符合实际情况，本节我们讨论非参数化方法(non-parametric method)，它可以处理任意的概率分布而不必假设密度的参数形式已知。大体上还是遵循着贝叶斯决策论，主要有两个非参数估计的方向：

• 从训练样本中估计类条件概率密度：$p(\text{x}|{\omega }_i)$
• 直接估计后验概率：$P({\omega }_j|\text{x})$

一 概率密度的估计

估计类条件概率密度的最基本的一个条件就是：一个向量x落在区域$R$中的概率为
$$P(\text{x}\in R)={\int }_{R}p(\text{x}{}^{\prime })d{\text{x}}^{\prime }$$
$P(\text{x}\in R)$是在区域$R$上$p(\text{x})$关于$x$的导数的积分（相当于区域R内每个点的概率密度函数的积分，概率密度函数的积分就是概率函数），因此概率$P$是概率密度函数$p(\text{x})$的平滑（或取平均）的版本，因此我们可以通过概率$P$来估计概率密度函数$p(\text{x})$。

先假设$p(\text{x})$是连续的，并且区域$R$足够小，以至于在这个区间中条件概率密度$p(\text{x})$几乎没有变化，若其中$V_R$表示区域$R$所包含的体积（二维面积，三维代表体积）有：
$$P_R=P(\text{x}\in R)={\int }_{R}p(\text{x}{}^{\prime })d{\text{x}}^{\prime }\approx p(\text{x}){\int }_{R}d{\text{x}}^{\prime }=p(\text{x})V_R$$
假设n个样本$x_1,x_2,...,x_n$都是根据概率密度函数$p(\text{x})$独立同分布(i,i,d)的抽取而得到的，其中有k个样本落在$R$区域中的概率服从二项式定理：
$$\begin{gathered} K\sim B(n,P_R),P(K=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)P_R^k(1-P_R{)}^{n-k} \\ E[K]=n{P}_R \end{gathered}$$
当样本足够大时，综合(2)式与(3)式，我们能够得到$p(\text{x})$的估计为：
$$p(\text{x})\approx \frac{E[K]/n}{V_R}$$
让$k_R$代表区域$R$中样本的确切数量，有：
$$p(\text{x})\approx \frac{k_R/n}{V_R}$$

推导过程如下图所示：

类比利用频率直方图估计概率密度函数，理论上当我们的样本足够多，同时频率分布直方图组距设置的特别小，就是在逼近样本点的真实概率密度函数【2】：

为了估计点$\text{x}$处的概率密度函数，构造了一系列的包含$\text{x}$的区域$R_1,R_2,...,R_n$，其中第一个区域使用一个样本，第二个区域使用2个样本…，记$V_n$为区域$R_n$的体积，$k_n$为落在$R_n$中的样本的个数，而$p_n(\text{x})$表示对$p(\text{x})$的第n次估计：
$$p_n(\text{x})=\frac{k_R/n}{V_R}$$
要求估计的概率密度函数收敛到真实值：
$$\underset{n\to \infty }{lim{p}_n(\text{x})}=p(\text{x})$$
必须满足以下三个条件，以及他们分别代表的意义【3】：

• 随着样本数量的增加，体积尽可能小，类比频率分布直方图的组距尽可能小
• 在小区域$R_n$内有足够多的样本，保证频率之比能够收敛到概率
• 在小区域$R_n$内的样本数在总样本中所占的比例是很小的一部分

---

有两种经常采用的估计途径：

• Parzen窗：根据某一个确定的体积函数，比如$V_n=\frac{1}{\sqrt{n}}$，来逐渐收缩一个给定的初始区间。（要求$k_n，k_n/n$能保证$p_n(\text{x})$能收敛到$p(\text{x})$）
• K-nearest-neighbor：确定$k_n$为n的某个函数，比如$k_n=\sqrt{n}$，这样体积必须逐渐生长，直到最后能包进$\text{x}$的$k_n$个相邻点。

这两种方法最终都能收敛到真实概率，但在有限样本下效果不好

二 Parzen窗方法

2.1 原理

假设区间$R_n$是一个d维的超立方体，如果$h_n$表示超立方体一条边的长度，则体积为：$V_n=h_n^d$，通过定义最简单的方型窗函数，得到点$\text{x}’$是否落在落在窗中：

$$\phi (\frac{\text{x}-{\text{x}}^{\prime }}{h_n})=\{\begin{array}{cc}1& |x_j-x_j^{\prime }|\le h_n/2j=1,...d\\ 0& 其他\end{array}$$
该窗函数定义了一个d维空间中，中心点在点$\text{x}$的超立方体。因此$kn$代表超立方体中的样本个数是：

代入公式（11）得到Parzen窗概率密度函数：

**窗口函数本质上是出现在该区域$R_n$内部的采样点的加权频数，可以看做是一种平滑。**更一般的，窗函数$\phi$并不一定是超立方体定义的函数，它可以是任意形式只要保证：$V_n=h_n^d$

另一个常见的高斯窗口函数如下：

高斯窗口函数，随着采样点与中心点距离的增大而减小。

当采用高斯窗口函数时，$k_n$是出现在该区域$R_n$内部的采样点的加权频数，每个采样点的权重取决于它们与中心$x$的距离。

回过头来看Parzen窗估计的概率密度函数：
$$p_n(\text{x})=\frac{1}{n}\sum _{i=1}^n\frac{1}{V_n}\phi (\frac{\text{x}-{\text{x}}_i}{h_n})$$
表示我们对$p(\text{x})$的估计是对一系列关于$\text{x}$和${\text{x}}_i$的函数做平均，在本质上，是每一个样本依据它离$\text{x}$的远近不同而对结果做出不同贡献。而且在进行估计前要确定一个具体形式的$V_n$函数

2.2 窗宽$h_n$的影响

我们定义$\delta (\text{x})$如下，可以重写$p_n(\text{x})$：

因为$V_n=h_n^d$，窗宽会显著影响$\delta (\text{x})$的振幅与宽度

• 如果$h_n$非常大，那么$\delta (\text{x})$的影响就很低，即使$\text{x}$距离${\text{x}}_i$很远，$\delta (\text{x}-{\text{x}}_i)$和$\delta (\text{0})$的差别也不大，这种情况下，$p_n(\text{x})$是n个宽的、满变的函数的叠加，因此$p_n(\text{x})$非常平滑

• 如果$h_n$很小，$\delta (\text{x}-{\text{x}}_i)$的峰值就非常大，这种情况下，$p_n(\text{x})$是n个以样本为中心的尖脉冲的叠加，也就是一个充满噪声（不确定性）的估计

$p_n(x)$的收敛性： $p_n(x)$是样本点$x_1,...x_n$（随机变量）的函数， 所以我们希望随机变量$p_n(x)$的均值$\overline{p_n}(x)$和方差${\sigma }_n^2(x)$满足：

经过证明需要满足以下条件，证明过程可参考【4】：

这就告诉我们对于$V_n$的选择，当n趋向于正无穷时趋近于0，但必须以低于1/n的速率，因此常设定$V_n=1/n或V_n=1/\ln n$

总结：对于窗宽$h_n$（或$V_n$）的选取在很大程度上影响$p_n(\text{x})$。如果$V_n$太大，那么估计结果的分辨率就太低，如果$V_n$太小，那么估计结果的统计稳定性就不够。当样本有限时，尽可能的取折中的估计，然而当样本个数无限，那么就可以在n增加时，让$V_n$缓缓趋近于0，这样$p_n(\text{x})$就收敛到某个概率密度函数$p(\text{x})$

下面举一个例子说明窗宽对估计结果的影响：

下图是一个二维Prazen窗的两类分类器，左图是小窗宽，右图为大窗宽

三 K-Nearest Neighbor方法

在Parzen窗中，最佳的窗函数的选择总是一个问题。另一种思路是固定$k_n$，让体积进行变化，而不是硬性的规定窗函数为落在区域$R_n$内的全体样本个数$k_n$的某个函数。比如我们以样本点$\text{x}$为中心，让体积扩张，直到包含$k_n$个样本为止（$k_n$是关于n的某个特定函数）。这些样本称为点$\text{x}$的$k_n$个最近邻，带入（一）中的非参数估计公式：
$$p(\text{x})\approx \frac{k_R/n}{V_R}$$

四 后验概率的估计

假设我们把一个体积放在点$\text{x}$周围，并且能够包含进k个样本，其中$k_i$个属于类别${\omega }_i$。对于联合概率密度的估计为：
$$p_n(\text{x},{\omega }_i)=\frac{k_i/n}{V}$$
这样对后验概率的估计就是：
$$p_n({\omega }_i|\text{x})=\frac{p_n(\text{x},{\omega }_i)}{{\sum }_{j=1}^c{p}_n(\text{x},{\omega }_j)}=\frac{k_i}{k}$$
这里$V_n,k_n$的值可以由Parzen窗与K近邻决定。

• Parzen窗方法中，$V_n$必须是关于n的某个固定形式的函数，比如$V_n=1/n或V_n=1/\ln n$
• Kn最近邻方法中，$V_n$必须保证能够包含进足够的样本个数，比如$k_n=\sqrt{x}$

如果有足够多的样本点并且体积足够小就可以证明这样处理是比较准确的。

五 最近邻规则

最近邻可以看作的k=1情况下的K近邻方法，最近邻规则描述了我们只依赖某个$\text{x}$的单一的最近的邻居来做估计，也能达到足够好的性能：令 D n = { x 1 , x 2 , . . . , x n } D^n=\{\textbf{x}_1,\textbf{x}_2,...,\textbf{x}_n\} Dn={x1​,x2​,...,xn​}，每个样本已标记，对于测试样本点$\text{x}$，在集合D中距离它最近的点${\text{x}}^{\prime }$的类别为样本点$\text{x}$的类别。

最近邻规则是次优的方法，通常的误差率比贝叶斯误差要高，然而在无限训练样本的情况下，这个误差率至多不会超过贝叶斯误差率的两倍。

通过最近邻规则，我们可以把样本特征空间分为一个个小的单元格(cell)，每个单元格中的点到最近邻${\text{x}}^{\prime }$的距离都比到别的样本点的距离要小。这个小单元格中的任意点的类别就与最近邻${\text{x}}^{\prime }$的类别相同。被称为：空间Voronoi网格。

将相同类型的网格的边界相连就可以形成决策边界，最近邻的边界通常是不平滑的，我们可以通过扩大K值来去除噪音，平滑边界。

参考

【1】模式识别

【2】非参数估计_音程的博客-CSDN博客_非参数估计

【3】非参数估计 - 简书 (jianshu.com)

【4】经典的非参估计 （二）parzen 窗 - 知乎 (zhihu.com)