二、 最大似然估计和贝叶斯参数估计

在朴素贝叶斯分类器中，我们是利用先验概率 $P(c)$ 和 类条件概率密度 $p(x|c)$ 来设计最优分类器，但是在实际应用中，通常是拿不到概率结构的全部知识的，因此我们就需要利用这些训练样本来估计问题中涉及的先验概率和条件密度函数，并把估计得结果当作实际地先验概率和条件密度，最后设计分类器。估计先验概率比较容易，最大的困难在于类条件概率密度，主要问题在于：
（1）已有的训练样本数太少
（2）当特征向量 $x$ 的维度较大时，会产生严重的计算复杂度。

但是，如果参数的个数已知，并且先验知识允许把条件概率密度进行参数化，那么问题的难度就可以显著降低。例如，我们假设 $p(x|c)$ 是一个多元正态分布，均值为 $\mu$，协方差矩阵为 ${\sum }_i$，这样，就把问题从估计完全未知的概率密度 $p(x|c)$ ，转化为估计参数 $\mu$ 和 ${\sum }_i$。

参数估计是统计学的经典问题，最常用和最有效的两种方法为：最大似然估计 和 贝叶斯估计。这两种方法的本质有很大区别：
（1）最大似然估计把待估计得参数看作是确定性的量，只是取值未知，最佳估计就是使已观测样本（即训练数据）的概率最大的值；
（2）贝叶斯估计则把待估计得参数看成是符合某种先验概率分布的随机变量。

1 最大似然估计（Maximum Likelihood Estimation, MLE）

最大似然估计得优点：

• 在训练样本增多时，收敛的非常好；
• 通常比其他方法简单

基本原理

假设样本所属的类别一共有 $c$ 个，则共有 $c$ 个样本集 $D_i,D_2,...,D_c$，对其中任意一个样本集 $D_j$ 中的样本，都是独立的根据类条件概率密度函数 $p(x|w_j)$ 来抽取的。因此，每一个样本集上的样本都是独立同分布的随机变量，假设每个类条件概率密度 $p(x|c_j)$ 的形式是已知的，未知的是具体的参数向量 ${\theta }_j$ 的值。例如，若假设 $p(x|c_j)$ 服从多维正态分布，即，$p(x|c_j)\sim N({\mu }_j,{\sum }_j)$，则参数向量 θ j \theta_j