分类_朴素贝叶斯

一、朴素贝叶斯

朴素贝叶斯是一组功能强大且易于训练的分类器，它使用贝叶斯定理来确定给定一组条件的结果的概率，“朴素”的含义是指所给定的条件都能独立存在和发生. 朴素贝叶斯是多用途分类器，能在很多不同的情景下找到它的应用，例如垃圾邮件过滤、自然语言处理等.

1. 概率

1）定义

概率是反映随机事件出现的可能性大小. 随机事件是指在相同条件下，可能出现也可能不出现的事件. 例如：

（1）抛一枚硬币，可能正面朝上，可能反面朝上，这是随机事件. 正/反面朝上的可能性称为概率；

（2）掷骰子，掷出的点数为随机事件. 每个点数出现的可能性称为概率；

（3）一批商品包含良品、次品，随机抽取一件，抽得良品/次品为随机事件. 经过大量反复试验，抽得次品率越来越接近于某个常数，则该常数为概率.

我们可以将随机事件记为A或B，则P（A）, P（B）表示事件A或B的概率.

2）联合概率与条件概率

① 联合概率

指包含多个条件且所有条件同时成立的概率，记作$P(A,B)$ ，或$P(AB)$，或$P(A\bigcap B)$

② 条件概率

已知事件B发生的条件下，另一个事件A发生的概率称为条件概率，记为：$P(A|B)$

p(下雨|阴天)

③ 事件的独立性

事件A不影响事件B的发生，称这两个事件独立，记为：
$$P(AB)=P(A)P(B)$$
因为A和B不相互影响，则有：
$$P(A|B)=P(A)$$
可以理解为，给定或不给定B的条件下，A的概率都一样大.

3）先验概率与后验概率

① 先验概率

先验概率也是根据以往经验和分析得到的概率，例如：在没有任何信息前提的情况下，猜测对面来的陌生人姓氏，姓李的概率最大（因为全国李姓为占比最高的姓氏），这便是先验概率.

② 后验概率

后验概率是指在接收了一定条件或信息的情况下的修正概率，例如：在知道对面的人来自“牛家村”的情况下，猜测他姓牛的概率最大，但不排除姓杨、李等等，这便是后验概率.

③ 两者的关系

事情还没有发生，求这件事情发生的可能性的大小，是先验概率（可以理解为由因求果）. 事情已经发生，求这件事情发生的原因是由某个因素引起的可能性的大小，是后验概率（由果求因）. 先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础.

2. 贝叶斯定理

1）定义

贝叶斯定理由英国数学家托马斯.贝叶斯 ( Thomas Bayes)提出，用来描述两个条件概率之间的关系，定理描述为：
$$P(A|B)=\frac{P(A)P(B|A)}{P(B)}$$
其中，$P(A)$和$P(B)$是A事件和B事件发生的概率. $P(A|B)$称为条件概率，表示B事件发生条件下，A事件发生的概率. 推导过程：
$$\begin{gathered} P(A,B)=P(B)P(A|B) \\ P(B,A)=P(A)P(B|A) \end{gathered}$$
其中$P(A,B)$称为联合概率，指事件B发生的概率，乘以事件A在事件B发生的条件下发生的概率. 因为$P(A,B)=P(B,A)$, 所以有：
$$P(B)P(A|B)=P(A)P(B|$$