智能感知与学习（九）：非参数估计

1、总体分布的非参数估计
a、参数估计方法：要求已知分布的具体形式
b、实际情况可能是：不知道分布的形式或者不是典型的分布形式
c、估计分布的非参数方法：直接从样本估计总体分布的方法
2、总体分布的非参数估计基本原理
设 p(x)是 x 的总体概率密度函数

随机变量 x 落入区域 R 的概率:

设从密度为p(x)的总体中独立地抽取 N 个样本，则其中有 k 个样本落入区域 R 的概率 Pk 满足随机变量的二项分布


k 的期望：

k 的众数（取整数）：

当 k=m 时，Pk 取最大值：

意义：在抽取的 N 个样本中，其中 k=m 个样本落入区域 R 的概率最大，有

则


意义：k / N 是 P 的一个好的估计
我们的目标是估计概率密度函数 p(x) 本身，假设 p(x) 是连续函数，并且取区域 R 足够小，这样可以认为 p(x) 在区域 R 上保持不变，则概率


其中，V 是区域 R 的体积，x 是 R 中的某一个点