直方图密度估计是较为传统的非参密度估计方法,通常我们的做法:
1 将数据值覆盖的数据区间分成几个等子区间(bin)。
2 一个数据值落到这个相应的子区间,这个子区间块的高度就相应的加一个单位的高度。
举个wiki上的例子:
现在有6个数据点:x1=-2.1, x2=-1.3, x3=-0.4, x4=1.9, x5=5.1, x6=6.2.我们取子区间的宽度为2,然后按照步骤2依次操作:
图1 构造的直方图
这样我们就利用样本数据构造出了概率密度函数。
但是从图中很显然,利用直方图估计密度函数还是有不完美的地方:
1 密度函数是不平滑的
2 密度函数受子区间宽度影响很大,如果我们取0.5,5等构造出的密度函数显然与宽度取2的有很大差异。
3 当数据维数是1,2维情况下,直方图的使用是很普遍的,但是在数据维数再增加时,这种方法就有局限性了。
而基于核密度估计的方法就没有直方图的3的局限性。而且当我们采用平滑的核时,概率密度函数也是平滑的;但是当我们采用非平滑核时,概率密度函数也还是不连续的。
kernel density estimation:
假设样本数据值在D维空间服从一个未知的概率密度函数,那么在区域R内的概率为: