非参数估计---直方图法、Kn近邻估计法、Parzen窗法

当需要估计的概率密度函数的形式未知，比如我们并不能知道样本的分布形式时，我们就无法用最大似然估计方法或贝叶斯估计方法来进行参数估计，而应该用非参数估计方法。这里就介绍三种非参数估计方法。 
需要知道的是，作为非参数方法的共同问题是对样本数量需求较大，只要样本数目足够大众可以保证收敛于任何复杂的位置密度，但是计算量和存储量都比较大。当样本数很少时，如果能够对密度函数有先验认识，则参数估计能取得更好的估计效果。

 

个人总结：

1、非参数估计的目的是求 概率密度函数-----也可以转换理解为如何确定k值，因为确定k值后，根据下面的核心估计公式，确定（估计）概率密度。注：可以理解为，根据k值得确定方式不同，分出了上面三种估计方法。

核心估计公式为：

2、直方图 和 Parzen窗是 先确定区间，再看落入样本数（k值）

      k近邻估计是 先确定k值 再动态调整（包含k个样本的）区间（区域）大小

3、

（1）在Parsen窗中

v=h^3

即h越大，分辨率越低（欠拟合），h越小，稳定性就低些（过拟合）。

这里指的都是 估计的概率密度 与 真实概率密度之间的关系

（2）在k近邻中，k小，则模型复杂，容易过拟合，k大则模型相对简单，容易欠拟合。

附图：

其实最终结果，是比较 估计的密度函数 与 实际密度函数  两者的误差率

参考博客：

https://blog.csdn.net/angel_yuaner/article/details/47951111

https://blog.csdn.net/zengxiantao1994/article/details/73196312

https://blog.csdn.net/drrlalala/article/details/45533821

https://blog.csdn.net/yujianmin1990/article/details/47734049

https://blog.csdn.net/liyuefeilong/article/details/45274325