朴素贝叶斯

1. 条件概率公式

条件概率(Condittional probability)，就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示

根据文氏图可知：在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。
$$P(A|B)=\frac{P(A\cap B)}{P(B)}=>P(A\cap B)=P(A|B)P(B)$$

同理可得： $$P(A\cap B)=\frac{P(B|A)}{P(A)}$$

所以：$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

接着看全概率公式，如果事件$A_1,A_2,A_3,...,A_n$构成一个完备事件且都有正概率，那么对于任意一个事件B则有：
$$\begin{gathered} P(B)=P(B{A}_1)+P(B{A}_2)+P(B{A}_3)+\cdots +P(B{A}_n) \\ =P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+\cdots +P(B|A_n)P(A_n) \\ =>P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i) \end{gathered}$$

2. 贝叶斯推断

根据条件概率和全概率公式，可以得到贝叶斯公式如下：
$$P(A|B)=P(A)\frac{P(B|A)}{P(B)}P(A_i|B)=P(A_i)\frac{P(B|A_i)}{{\sum }_{i=1}^{n}P(A_i)P(B|A_i)}$$

P(A)称为"先验概率"（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。
P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。
P(B|A)/P(B)称为"可能性函数"（Likely hood），这是一个调整因子，使得预估概率更接近真实概率。

所以条件概率可以理解为：后验概率 = 先验概率 * 调整因子
如果"可能性函数">1，意味着"先验概率"被增强，事件A的发生的可能性变大；
如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；
如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小。

3. 案例

颜值	性格	上进	嫁or不嫁
帅	好	上进	嫁
不帅	好	一般	不嫁
不帅	不好	不上进	不嫁
帅	好	一般	嫁
不帅	好	上进	嫁
帅	不好	一般	不嫁
帅	好	不上进	嫁
不帅	不好	上进	不嫁
帅	不好	上进	嫁
不帅	好	不上进	不嫁

假如某男（帅，性格不好，不上进）向女生求婚，该女生嫁还是不嫁？

根据贝叶斯公式：$P(A|B)=P(A)\frac{P(B|A)}{P(B)}$

转换成分类任务的表达式：$P(类别|特征)=P(类别)\frac{P(特征|类别)}{P(特征)}$

我们这个例子，按照朴素贝叶斯的求解，可以转换为计算$P(嫁|帅,性格不好,不上进)和P(不嫁|帅,性格不好,不上进)$ ，最终选择嫁与不嫁的答案。
根据贝叶斯公式可知：
$$P(C|F1,F2,\dots )=P(C)\frac{P(F1,F2,\dots |C)}{P(F1,F2,\dots )}$$

$$P(嫁|帅,性格不好,不上进)=P(嫁)\frac{P(帅|嫁)P(性格不好|嫁)P(不上进|嫁)}{P(帅,性格不好,不上进)}$$

$$P(不嫁|帅,性格不好,不上进)=P(不嫁)\frac{P(帅|不嫁)P(性格不好|不嫁)P(不上进|不嫁)}{P(帅,性格不好,不上进)}$$

分母的计算用到的是全概率公式：
$$P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$$

所以：
$$P(帅,性格不好,不上进)=P(嫁)P(帅|嫁)P(性格不好|嫁)P(不上进|嫁)+P(不嫁)P(帅|不嫁)P(性格不好|不嫁)P(不上进|不嫁)$$

由上表可以得出：

• P(嫁)= 5/10 = 1/2

• P(不嫁)= 5/10 = 1/2

• P(帅|嫁) * P(性格不好|嫁) * P(不上进|嫁)= 4/5 * 1/5 * 1/5

• P(帅|不嫁) * P(性格不好|不嫁) * P(不上进|不嫁) = 1/5 * 3/5 * 2/5

• P(嫁) * P(帅|嫁) * P(性格不好|嫁) * P(不上进|嫁) = 1/2 * 4/5 * 1/5 * 1/5 = 2/125

• P(不嫁) * P(帅|不嫁) * P(性格不好|不嫁) * P(不上进|不嫁) = 1/2 * 1/5 * 3/5 * 2/5 = 3/125

所以最终结果为：

• P(嫁|帅\ 性格不好\ 不上进) = (2/125) / (2/125 + 3/125) = 40%
• P(不嫁|帅\ 性格不好\ 不上进) = (3/125) / (2/125 + 3/125) = 60%

60% > 40%，该女生选择不嫁。