Parzen窗的高斯核函数

Parzen window的高斯核函数估计——非参数概率密度函数估计方法

预备知识

1.概率密度函数知识（自学）
2.高斯核函数
3.密度估计计算方法

高斯核函数

高斯函数也就是常见的正态分布，其概率密度函数如下：
$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
其中$\mu$是均值，而$\sigma$是标准差，${\sigma }^2$是方差 显而易见哈

利用高斯核进行计算的方法

一般估计方法

给定一组数据$x_1,x_2,...,x_n$，可以估计其满足的概率密度函数p(x)，进而对于任意x，都可得到其概率p(x)。

样本落在区域R的概率满足：
$$P={\int }_{R}p(x)dx$$

特殊估计方法

若R足够小，也就是所取的区间足够小，则在R中，可以当作概率密度函数p(x)几乎不变，则有：
$$P=p(x){\int }_{R}dx=p(x)V$$
另一方面，通过样本的观测，$x_1,x_2,...,x_n$，我们可以计算出落在区域R的样本数量为k，进而可得：
$$P=\frac{k}{n}$$
结合以上两式，可以得到概率密度函数的计算式为:
$$p(x)=\frac{k}{n\ast V}$$

Parzen窗的高斯核估计

Parzen窗的二维数据计算

考虑区域R为一个以x为中心的超立方体，对于二维数据，有$V=h^2$

引入一个计数函数：
$$\varphi (\frac{x_i-x}{h})=\{\begin{array}{ll}1& \frac{|x_{ik}-x_k|}{h}\le \frac{1}{2},k=1,2\\ 0& otherwise\end{array}$$
可得，落在区域R内的点数为：
$$k=\sum _{i=1}^n\varphi (\frac{x_i-x}{h})$$
进而得到Parzen window概率密度估计公式：
$$p(x)=\frac{k}{n\ast V}=\frac{1}{n{h}^2}\sum _{i=1}^n\varphi (\frac{x_i-x}{h})$$
计数函数$\varphi (\frac{x_i-x}{h})$也被称作窗函数，也可以使用高斯函数作为窗函数，即距离$x_i$越近则计数权重越大：
$$p(x)=\frac{1}{n}\sum _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x_i-x{)}^2}{2{\sigma }^2})$$

参考：https://zhuanlan.zhihu.com/p/348358774