概率密度估计的非参数方法

3.4 概率密度估计的非参数方法

最大似然估计和贝叶斯估计都属于参数估计，但有时我们无法给出密度函数的形式，这时就需要用非参数估计，直接用样本估计整个函数。

3.4.1 非参数估计的基本原理与直方图方法

要求解的问题是：已知样本集 χ = { x 1 ， … ， x N } \chi = \{x_1，…，x_N\} χ={x1​，…，xN​} 中的样本是从服从密度函数 $p(x)$ 的总体中独立抽取出来的，求 $p(x)$ 的估计 $\hat{p}(x)$ 。
考虑在样本所在空间的某个小区域 $R$ ，某个随机向量落入这个小区域的概率是
$$P_R={\int }_{R}p(x)dx(3-55)$$
根据二项分布,在样本集 $\chi$ 中恰好有 $k$ 个落入小区域 $R$ 的概率是
$$P_k=C_N^k{P}_R^k(1-P_R{)}^{N-k}(3-56)$$
$k$ 的期望值是
$$E[k]=N{P}_R(3-57)$$
而且 $k$ 的众数是
$$m=[(N+1)P_R](3-58)$$
其中 $[]$ 表示取整数。因此，当小区域中实际落入了 $k$ 个样本时， $P_R$ 的一个很好的估计是
$${\hat{P}}_R=\frac{k}{N}(3-59)$$
当 $p(x)$ 连续、且小区域 $R$ 的体积 $V$ 足够小时，可以假定在该小区域范围内 $p(x)$ 是常数，则式（3-55）可近似为
$$P_R={\int }_{R}p(x)dx=p(x)V(3-60)$$
用式（3-59）的估计代入到式（3-60）中，可得，在小区域 $R$ 的范围内
$$\hat{p}(x)=\frac{k}{NV}(3-61)$$
这就是在上面的直方图中使用的对小舱内概率密度的估计。
可以设想，小舱的选择是与估计的效果密切相连的，还与样本的分布有关。所以，小舱的选择应该与样本总数相适应，理论上，假定样本总数是 $n$ ，小舱的体积为 $V_n$ ，在 $X$ 附近位置上落入小舱的样本个数是 $k_n$ ，那么当样本趋于无穷多时 $\hat{p}(x)$ 收敛于$p(x)$的条件是
$$\underset{n\to \infty }{\lim }{V}_n=0，\underset{n\to \infty }{\lim }{k}_n=\infty ，\underset{n\to \infty }{\lim }\frac{k_n}{n}=0(3-62)$$

做法：

1. 把样本 $x$ 的每个分量在其取值范围内分成 $k$ 个等间隔的小窗。如果 $x$ 是 $d$ 维向量，则这种分割就会得到 $k^d$ 个小体积或者称作小舱，每个小舱的体积计作 $V$ 。
2. 统计落入每个小舱内的样本数目 $q_i$ 。
3. 把每个小舱内的概率密度看作是常数，并用 $\frac{q_i}{NV}$ 作为其估计值，其中 $N$ 为样本总数。

3.4.2 $k_N$ 近邻估计方法

$k_N$ 近邻估计就是一种采用可变大小的小舱的密度估计方法，即调整小舱的体积，使小舱内恰好落入 $k_N$ 个样本，并用式（3-60）来估计$\hat{p}(x)$ ，
$$\hat{p}(x)=\frac{k_N}{NV}(3-63)$$
这样，在样本密度比较高的区域小舱的体积就会比较小，而在密度低的区域则小舱体积自动增大。为了取得好的估计效果，仍然需要根据式（3-62）来选择 $k_N$ 与 $N$ 的关系，比如可以选取为 $k_N\sim k\sqrt{N}$ ，$k$ 为某个常数。

3.4.3 Parzen 窗法

Parzen 窗法与直方图很相似，但可以通过使用合适的核函数，使得估计的概率密度具有光滑连续的特点。

举例：

sample	1	2	3	4	5	6
value	-2.1	-1.3	-0.4	1.9	5.1	6.2

左侧的直方图，横坐标被分割成不同的小区域，每个小区域的宽度为2，小区域的高度为 1/12 ，如果有多个点落在同一个区域中，将高度进行累加。
右侧的核密度估计，则在每个数据点的位置放置了一个方差为2.25的法向核函数（用红色虚线表示），并且同直方图一样对高度进行累加。

根据式（3-61） $\hat{p}(x)=\frac{k}{NV}$ 。在固定小区域体积的前提下将其进行变换
$$\begin{gathered} \hat{p}(x)=\frac{1}{NV}\sum _{i=1}^N\{\begin{array}{ll}1& x-h⩽x_i⩽x+h\\ 0& else\end{array} \\ =\frac{1}{NV}\sum _{i=1}^N\{\begin{array}{ll}1& -1⩽\frac{x_i-x}{h}⩽1\\ 0& else\end{array} \\ =\frac{1}{NV}\sum _{i=1}^N\phi (\frac{x-x_i}{h}) \end{gathered}$$
这样得到的 $\frac{1}{V}\phi (\frac{x-x_i}{h})$ 就是一个核函数（方窗）

假设 $x\in R^d$ 是 $d$ 维特征向量，并假设每个小舱是一个超立方体，它在每一维的棱长都为 $h$ ，则小舱的体积是
$$V=h^d(3-64)$$
要计算每个小舱内落入的样本数目，可以定义如下的 $d$ 维单位方窗函数
$$\phi ([u_1，u_2，\dots ，u_d{]}^T)=\{\begin{array}{ll}1& |u_j|⩽\frac{1}{2}，j=1，2，\dots ，d\\ 0& else\end{array}(3-65)$$
这个函数在以原点为中心的 $d$ 维单位超正方体内取值为1，而其他地方取值都为0。对于每一个 $x$ ，要考查某个样本 $x_i$ 是否在这个 $x$ 为中心、$h$ 为棱长的小立方小舱内，就可以通过计算 $\phi (\frac{x-x_i}{h})$ 来进行。现共有 $N$ 个观测样本 { x 1 ， x 2 ， … ， x N } \{x_1，x_2，…，x_N\} {x1​，x2​，…，xN​} ，那么落入以 $x$ 为中心的超立方体内的样本数就可以写成
$$k_N=\sum _{i=1}^N\phi (\frac{x-x_i}{h})(3-66)$$
代入（3-61）可以得到对于任意一点 $x$ 的密度估计的表达式
$$\hat{p}(x)=\frac{1}{NV}\sum _{i=1}^N\phi (\frac{x-x_i}{h})(3-67)$$
核函数要求：
因为要估计的概率密度函数积分为1。
$$\begin{gathered} \underset{R}{\int }\hat{p}(x)dx=1 \\ \underset{R}{\int }\frac{1}{NV}\sum _{i=1}^N\phi (\frac{x-x_i}{h})=1 \\ \frac{1}{N}\sum _{i=1}^N{\int }_{-\infty }^{+\infty }\frac{1}{V}\phi (\frac{x-x_i}{h})dx=1 \end{gathered}$$
令 $t=\frac{x-x_i}{h}$ 则，
$$\frac{1}{N}\sum _{i=1}^N{\int }_{-\infty }^{+\infty }\frac{1}{V}\phi (t)dt=1$$
因此核函数
$$\int K(x,x_i)dx=1且K(x,x_i)⩾0(3-71)$$
常见核函数：

1. 方窗
   $$k(x,x_i)=\{\begin{array}{ll}\frac{1}{h^d}& |x^J-x_i^j|⩽\frac{h}{2},j=1,2,\dots ,d\\ 0& else\end{array}(3-72)$$
2. 高斯窗（正态窗）
   $$k(x,x_i)=\frac{1}{\sqrt{(2\pi {)}^d{\rho }^{2d}|Q|}}\exp [-\frac{1}{2}\frac{(x-x_i{)}^T{Q}^{-1}(x-x_i)}{{\rho }^2}](3-73)$$
3. 超球窗
   $$k(x,x_i)=\{\begin{array}{ll}{V}^{-1}& ||x-x_i||⩽\rho \\ 0& else\end{array}$$

非参数法的共同问题是对样本数目需求较大。

参考
张学工. 模式识别. 第三版. 北京：清华大学出版社，2010
张学工，汪小我. 模式识别与机器学习. 第四版. 北京：清华大学出版社，2021
部分图片来源于网络