机器学习入门（七）：朴素贝叶斯分类器——从贝叶斯定理到分类模型

前面有关线性回归的课程中，我们讲了一个回归模型，我们现在来讲一个分类模型。

分类 vs 回归

分类模型 VS 回归模型，最根本的不同：前者是预测一个标签（类型、类别）；后者则是预测一个量。

换一个角度来看，分类模型输出的预测值是离散值；而回归模型输出的预测值则是连续值。

也就是说输入一个样本给模型，回归模型给出的预测结果是在某个值域（一般是实数域或其子集）上的任意值；而分类模型则是给出特定的某几个离散值之一。

上篇讲的线性回归模型，是用来做回归的。这次我们来讲一个做分类的模型：朴素贝叶斯分类器。

贝叶斯定理

在讲模型之前，我们先来看看概率统计中一个非常重要的定理：贝叶斯定理。

贝叶斯公式

贝叶斯公式本身一目了然：

P(A|B)=P(B|A)P(A)P(B)

用语言解释就是：在 B 出现的前提下 A 出现的概率，等于 A 和 B 都出现的概率除以 B 出现的概率。

换句话说就是后验概率和先验概率的关系。

举例说明

一个简单的例子

例子1：

我们假设：目前的全集是一个小学的小学一年级学生。
这个小学一年级一共100人，其中有男生30人。
穿白袜子的人数一共有20个，这20个人里面，有5个是男生。
那么请问，男生里面穿白袜子的人的出现概率为多少？

这不是废话嘛，一共30个男生，5个穿白袜子，出现概率是5/30=1/6啊。用得着贝叶斯公式吗？

如果我已经把人数都告诉你了，当然没必要算什么先后验概率。

但是我先不告诉你人数，我只告诉你：

(下面用 A 指代“穿白袜子”，B 指代“是男生”)
这个小学一年级学生里面，男生的出现概率是 0.3 —— P(B)；
穿白袜子的人的出现概率是0.2 —— P(A)；
穿白袜子的人是男生这件事出现的概率是0.25 —— P(B|A)。
请问你，一个人是男生又穿白袜子的出现概率 —— P(A|B)是多少？

这个时候就该贝叶斯公式出场啦：

P(A|B)=P(B|A)P(A)P(B) ==> P(A|B) = 0.25 * 0.2 / 0.3 = 1/6

另一个简单的例子

如果你问我，明明人数都知道了，为什么还要绕个弯算概率？那么再来看另一个例子。

例子2</