《机器学习实战》读书笔记5：朴素贝叶斯分类器的原理

贝叶斯定理

我们知道：

$$P(A\cap B) = P(A|B)\times P(B) = P(B|A)\times P(A)$$
所以有： $$P(A|B) = \frac{P(B|A)\times P(A)}{P(B)}$$
这就是贝叶斯定理。

---

贝叶斯分类器的原理

假如我们要为一个疾病诊断系统构建一个贝叶斯分类器。首先，我们有如下训练集：

职业	症状	疾病
矿工	咳嗽	肺炎
矿工	头痛	感冒
护士	咳嗽	肺结核
护士	头痛	肺炎
矿工	咽痛	肺炎
护士	咽痛	感冒

下面来了一个咽痛的护士，我们要确定她患了什么疾病，这里就要用到贝叶斯定理。
该护士感冒的概率为：

$$\begin{align} P(感冒|护士,咽痛)&=\frac{P(护士,咽痛|感冒)\times P(感冒)}{P(咽痛,护士)}\\ &=\frac{P(护士|感冒)\times P(咽痛|感冒)\times P(感冒)}{P(咽痛)\times P(护士)}\\ &=\frac{0.5\times 0.5\times 0.33}{0.33\times 0.5}\\ &=0.5 \end{align}$$
同理，该护士 肺炎的概率为：
$$\begin{align} P(肺炎|护士,咽痛)&=\frac{P(护士,咽痛|肺炎)\times P(肺炎)}{P(咽痛,护士)}\\ &=\frac{P(护士|肺炎)\times P(咽痛|肺炎)\times P(肺炎)}{P(咽痛)\times P(护士)}\\ &=\frac{0.33\times 0.33\times 0.5}{0.33\times 0.5}\\ &=0.33 \end{align}$$
该护士 肺结核的概率为：
$$\begin{align} P(肺结核|护士,咽痛)&=\frac{P(护士,咽痛|肺结核)\times P(肺结核)}{P(咽痛,护士)}\\ &=\frac{P(护士|肺结核)\times P(咽痛|肺结核)\times P(肺结核)}{P(咽痛)\times P(护士)}\\ &=\frac{1\times 0\times 1/6}{0.33\times 0.5}\\ &=0 \end{align}$$
所以，由上可知， 咽痛的护士，最可能是 感冒了。虽然上面的例子是瞎掰的，训练集数量太少，但是也能说明贝叶斯分类器的工作原理，即 可能性最大的那个分类就作为输入特征向量的分类。

---

朴素贝叶斯

朴素(naive)贝叶斯有两个假设：

• 各个特征之间是相互独立的，即一个特征出现与否，不影响另一个特征是否出现。例如自然语言中 “ I am a student. ”，I 的出现肯定会影响 am 的出现，即主语的出现肯定会影响谓语的出现。但是朴素贝叶斯假设它们之间都没有联系，即在统计意义上是独立的。
• 各个特征同等重要，其实这个假设也有问题，在文档分类中，很多情况下，某些词比其他词更加重要。

虽然上面两个假设都不太符合实际，但是在实际情况中朴素贝叶斯分类器的效果却还是非常不错的，而且这两个假设使得程序代码逻辑清晰且简单。