之前的博客中已经提到,贝叶斯决策的基础是概率密度函数的估计,即根据一定的训练样本来估计统计决策中用到的先验概率 P ( w i ) P(w_i) P(wi)和类条件概率密度 p ( x ∣ w i ) p(x|w_i) p(x∣wi)。
概率密度函数的估计分为参数估计和非参数估计。
极大似然估计
极大似然估计属于一种典型的参数估计法。
在最大似然估计(maximum likelihood estimation)中,我们做以下基本假设:
- 待估计参数 θ \theta θ是确定但未知的量;
- 每类中的样本满足独立同分布条件;
- 类条件概率密度 p ( x ∣ w i ) p(x|w_i) p(x∣wi)具有某种确定的函数形式,只是其中的参数未知;
- 不同类别的参数是独立的。
设样本集包含 N N N个样本,即 S = { x 1 , x 2 , . . . , x N } S=\{x_1,x_2,...,x_N\} S={ x1