概率密度估计

参数估计和非参数估计（监督参数估计和非监督参数估计）组成了概率密度估计。

参数估计分频率派的最大似然估计和概率派的贝叶斯估计，MLE基本就是写出似然函数—取log—求最大似然函数时的参数，如果似然函数不可导或很难求导，就应用用EM算法的迭代计算的思想估参；贝叶斯估计理解朴素贝叶斯公式就可以了。

非参数估计分三种，直方图、Parzen窗法（核密度估计）和Kn近邻法
直方图很好理解，核密度估计在直方图的基础上多了一个平滑数据的核函数（kernal function）,kn近邻估计于核密度估计不同点在于dk(x)函数表示样本点到所有样本点都计算欧式距离,k=1,2,…n.函数值依次变大，dk(x)最大。

其实，在机器学习中，我们遇到的权重（权值函数）可以都看成一种概率分布，更宽的理解只要能用数据衡量的，我们都应该尝试用一个概率密度的模型去表示样本数据。