【朴素贝叶斯算法】{1} —— 使用条件概率来分类

条件概率：

条件概率（英语：conditional probability）就是事件A在事件B发生的条件下发生的概率。
条件概率表示为 $P(A|B)$，读作“A在B发生的条件下发生的概率”。

文氏图：

根据条件概率推导贝叶斯定理：

$$由P(A|B)=\frac{P(A\cap B)}{P(B)},$$
$$得P(A\cap B)=P(A|B)P(B),$$
$$同理P(A\cap B)=P(B|A)P(A),$$
$$故P(A|B)P(B)=P(B|A)P(A),$$
$$因此P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

---

假设现在有一个数据集，它由两类数据组成，数据分布如下图所示：

现在用 $p1(x,y)$ 表示数据点 $(x,y)$ 属于类别1（图中红色圆点表示的类别）的概率，用 $p2(x,y)$ 表示数据点 $(x,y)$ 属于类别2（图中蓝色三角形表示的类别）的概率，那么对于一个新数据点 $(x,y)$，可以用下面的规则来判断它的类别：

• 如果 $p1(x,y)>p2(x,y)$，那么类别为1
• 如果 $p1(x,y)<p2(x,y)$，那么类别为2

应用贝叶斯准则，得

$$p(c_i|x,y)=\frac{p(x,y|c_i)p(c_i)}{P(x,y)}$$

参数具体意义：

给定某个由x、y表示的数据点，该数据点来自类别 $c_i$ 的概率是多少？数据点来自类别 $c_2$ 的概率又是多少？注意这些概率与刚才给出的概率$p(x,y|c_1)$并不一样，不过可以使用贝叶斯准则来交换概率中条件与结果。

使用上述定义，可以定义贝叶斯分类准则为：

• 如果 $P(c_1|x,y)>P(c_2|x,y)$，则属于类别 $c_1$。
• 如果 $P(c_1|x,y)<P(c_2|x,y)$，则属于类别 $c_2$。

使用贝叶斯准则，可以通过已知的三个概率值来计算未知的概率值。

---

参考资料：《机器学习实战》