第13课：朴素贝叶斯分类器——条件概率的参数估计

不再简单地将频率当作概率

已知朴素贝叶斯公式：

$P(C|F_1,F_2,…, F_n) =\frac{1}{Z}P(C) \prod_{i=1}^{n} P(F_i|C)$

其中，$F_i$ 表示样本的第 $i$ 个特征，$C$ 为类别标签。$P(F_i | C)$ 表示样本被判定为类别 $C$ 前提下，第 $i$ 个特征的条件概率。

之前，对于 $P(F_i |C)$ 我们用频率来作为概率的估计，就如同上面例子中做的那样。

现在我们要采用另外一种方式，通过该特征在数据样本中的分布来计算该特征的条件概率。

首先先明确一下符号：

• $D$：表示训练集；
• $D_c$：表示训练集中最终分类结果为 $c$ 的那部分样本的集合；
• $X$: 表示一个训练样本（单个样本）；
• $x_i^{(j)}$：表示第 $j$ 个样本的第 $i$ 个特征的特征值；
• $m$：$D$ 中样本的个数；
• $m_c$：$D_c$ 中样本的个数，一般情况下（$m_c < m$）。

我们假设：

1. $P(x_i | c)$ 具有特定的形式，这个具体的形式是事先就已经认定的，不需要求取。

2. $P(x_i | c)$ 被参数