kernel density estimation-核密度估计

http://hi.baidu.com/chb_seaok/item/e55e71bff4825d4bba0e120f

kernel density estimation-核密度估计

直方图密度估计是较为传统的非参密度估计方法，通常我们的做法：

1 将数据值覆盖的数据区间分成几个等子区间（bin)。

2 一个数据值落到这个相应的子区间，这个子区间块的高度就相应的加一个单位的高度。

举个wiki上的例子：

现在有6个数据点：x1=-2.1, x2=-1.3, x3=-0.4, x4=1.9, x5=5.1, x6=6.2.我们取子区间的宽度为2，然后按照步骤2依次操作：

                                                                                            图1   构造的直方图

这样我们就利用样本数据构造出了概率密度函数。

但是从图中很显然，利用直方图估计密度函数还是有不完美的地方：

1 密度函数是不平滑的

2 密度函数受子区间宽度影响很大，如果我们取0.5，5等构造出的密度函数显然与宽度取2的有很大差异。

3 当数据维数是1，2维情况下，直方图的使用是很普遍的，但是在数据维数再增加时，这种方法就有局限性了。

而基于核密度估计的方法就没有直方图的3的局限性。而且当我们采用平滑的核时，概率密度函数也是平滑的；但是当我们采用非平滑核时，概率密度函数也还是不连续的。

kernel density estimation:

假设样本数据值在D维空间服从一个未知的概率密度函数，那么在区域R内的概率为：