kernel density estimator (parzen window)

背景

我们有非常多的数据，想求出该数据的概率密度函数。我们不知道这些数据服从哪一种分布，所以采用概率密度的无参数估计。

kernel density estimator

前提假设

假设采集到的数据 $\mathbf{x}\in {\mathbb{R}}^D$，服从$D$维空间某个未知的概率分布，其中概率密度函数为$p(x)$. 设样本空间为$\Omega$，即$\mathbf{x}$是$\Omega$.
ps：下文以2维为例.

目的

估算概率密度函数$p(x)$.

分析

数据 $\mathbf{x}$落在小区域$\mathcal{R}$的概率为：$$P={\int }_{\mathcal{R}}p(\mathbf{x})\mathrm{d}\mathbf{x}$$
设计一个伯努利实验：在样本空间$\Omega$随机采样$N$次，每一次 $\mathbf{x}$落在小区域$\mathcal{R}$的概率为$P$，有$K$次落到小区域$\mathcal{R}$的概率是多少？很明显这是二项分布，它的概率为：
$$b(K;N,P)=\frac{N!}{K!(n-k)!}{P}^K(1-P{)}^{N-K}$$

$K$的期望为： $E(K)=NP$. 方差：$D(K)=NP(1-P)$.
根据大叔定律我们知道，当数据两趋近于无穷大时，事件发生的频率等于该事件出现的概率.即
$$\text{当 }N\to \infty \text{有},\frac{K}{N}\to P.$$
我们假设区域$\mathcal{R}$足够小，使得概率密度函数在这个区域中可视为一个常数$p(x)$，则数据 $\mathbf{x}$落在$\mathcal{R}$的概率为：$$P\approx p(x)V$$ $$p(x)V\approx \frac{K}{N}⟹p(x)\approx \frac{K}{NV}$$

计算密度函数

为了计算有多少数据点落在指定区域，我们定义一个函数$$k(u)=\{\begin{array}{ll}1,& |u_i|<\frac{1}{2},i=1,2,\cdots ,D\\ 0,& \text{otherwise}\end{array}$$其中 $u_i$ 是以原点为中心的超方体
设$\mathcal{R}$是一个以$x$为中心，$h$为边长的超方体（针对高维空间的说法，二维则为正方形）.数据$x$落在$\mathcal{R}$的个数为：$$K=\sum _{n=1}^{N}k(\frac{\mathbf{x}-{\mathbf{x}}_n}{h})$$
其中当${\mathbf{x}}_n$到$\mathbf{x}$的距离小于$h$时，函数$k(\cdot )$的取值为1，否则为0. 即统计落在区间$\mathcal{R}$的个数.
设区域$\mathcal{R}$的体积为$h^D$,则概率为：$$p(x)=\frac{1}{N}\sum _{n=1}^N\frac{1}{h^D}k(\frac{\mathbf{x}-{\mathbf{x}}_n}{h})$$
如果更平滑的核函数，比如高斯函数则概率：$$p(x)=\frac{1}{N}\sum _{n=1}^N\frac{1}{(2\pi h^2{)}^{\frac{1}{2}}}{e}^{-\frac{\Vert \mathbf{x}-{\mathbf{x}}_n{\Vert }^2}{2h^2}}$$
根据函数$k(u)$的对称性，我们可以这样解释：
样本落在某个小区域（以${\mathbf{x}}_n$为中心，$h$为半径的区域）的概率值。

参考文献 Pattern Recognition and machine learning 第2.5.1节kernel density estimator