机器学习第三篇：详解朴素贝叶斯算法

一、统计知识

01|随机事件：

1、概念

随机事件是在随机试验中，可能出现也可能不出现，而在大量重复试验中具有某种规律性的事件叫做随机事件(简称事件)。随机事件通常用大写英文字母A、B、C等表示。随机试验中的每一个可能出现的试验结果称为这个试验的一个样本点，记作ωi。全体样本点组成的集合称为这个试验的样本空间，记作Ω．即Ω={ω1，ω2，…，ωn，…}

随机事件中的事件形式可能由各种形式，比如{"正面","反面"}，{"优","良","差"}。

2、条件概率

P(A|B)=P(AB)/P(B)表示在事件B发生的情况下事件A发生的概率。

3、一些性质

概率的有限可加性：若事件A1、A2、......、Ai.....、Aj这些事件两两互斥，则P(∑Ai)=∑P(Ai),表示所有事件发生的概率等于各个事件发生的概率之和。

概率的乘法公式：P(AB)=P(A)P(B|A)=P(B)P(A|B)。若事件A与B相互独立，则P(AB)=P(A)P(B),推广到有限多个事件时可表示为：P(A1A2A3.....An)=P(A1)P(A2|A1)P(A3|A1A2)......P(An|A1A2......An-1)。

4、全概率公式

对于比较复杂的概率事件的计算，经常会把它分解成若干个简单事件的和，通过分别计算这些简单事件的概率，然后利用概率的可加性计算出所求事件的概率。假设事件A1、A2、......、An是Ω的一个划分，即两两互斥，且

∑Ai=Ω，则B=B∑Ai，再由概率的有限可加性得，P(B)=P(B∑Ai)=P(∑BAi)。

再由概率得乘法公式得P(B)=P(∑BAi)=∑P(Ai)P(B|Ai),这就是全概率公式。

5、贝叶斯公式

假设事件A1、A2、......、An是Ω的一个划分，B=B∑Ai=∑BAi，则B发生条件下Ai发生得概