概率密度函数的估计

引言

• 两步贝叶斯决策是首先通过训练样本估计概率密度函数，再用统计决策进行类别判定的方法。

• 概率密度函数的估计方法分为两类：1、参数估计 2、非参数估计

  • 参数估计：已知概率密度函数的形式，但其中部分或者全部参数未知，概率密度的估计问题就是用样本来估计这些参数。方法分为两类：最大似然估计和贝叶斯估计

  • 非参数估计：概率密度函数的形式未知或者概率密度函数不符合目前的研究的任何分布模型，因此不能仅仅估计几个参数，而是用样本把概率密度函数数值化地估计出来。

-参数估计的几个概念

• 统计量：针对不同的要求构造出样本的某种函数，该函数在统计学中称为统计量。

• 参数空间：在参数空间中总体的概率密度函数的形式已知，未知的仅仅是几个分布中的参数，将未知的参数记作$\theta$，在统计学中，将总体分布未知参数$\theta$的全部可容许值组成的集合称为参数空间，记为$\Theta$.

• 点估计、估计量和估计值：点估计问题就是要构造一个统计量（统计量是在不同的要求下样本的某种函数） d(x1