理解一下贝叶斯公式

贝叶斯定理

通常，事件A在事件B发生的条件下发生和事件B在事件A发生的条件下发生的概率是不同的，但是有一定的相关性，贝叶斯公式就描述这个情况：
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

• P(A) 这是概率中最基本的符号，表示 A 出现的概率。比如在投掷骰子时，P(2) 指的是骰子出现数字“2”的概率，这个概率是 六分之一。
• P(B|A) 是条件概率的符号，表示事件 A 发生的条件下，事件 B 发生的概率，条件概率是“贝叶斯公式”的关键所在，它也被称为“似然度”。
• P(A|B) 是条件概率的符号，表示事件 B 发生的条件下，事件 A 发生的概率，这个计算结果也被称为“后验概率”。

条件概率

如何理解条件概率，举一个例子：
比如小袋吃早饭的概率和按时吃午饭的概率都是1/2，P(吃早饭) = $\frac{1}{2}$ , P(按时午饭) = $\frac{1}{2}$, 假如有一上午的课，只能早起，吃了早饭然后下课吃午饭，只有这样才会按时吃午饭并且肯定吃了早饭，那么P(吃早饭|按时午饭) = 1（理想状态），即这两件事因为上午的课产生了关联，变得不独立。
来看另一种情况，比如小袋八点半洗澡的概率是 P(八点半洗澡) = $\frac{1}{2}$，那么P(吃早饭|八点半洗澡) 的概率是多少呢？这两件事是毫无关系的，所以这两件事独立，不管八点半是否洗澡，吃早饭的概率都是$\frac{1}{2}$.
结论：P(B|A) 值越大说明发生A的情况下发生B的概率大，即两者存在较高的相关性

先验概率

根据以往经验和分析得到的概率。比如面前有一个人，P(篮球运动员)=1/3, P(老师) = 1/3, P(主持人) = 1/3. 纯粹是靠经验和分析猜的。

后验概率

指某件事已经法师，要计算这件事发生的概率是由于某个因素引起的概率。这个人是篮球运动员，因为看起来很高，后验概率就是根据结果来计算原因的概率。

朴素贝叶斯分类

采用了“属性条件同独立性假设”
$$P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(c)}{P(x)}\prod _{i=1}^{d}P(x_i|c)$$
其中，$d$为属性数目，$x_i$为$x$在第$i$个属性上的取值。
朴素贝叶斯分类器的训练过程就是基于训练集$D$来估计类先验概率$P(c)$，并为每个属性估计条件概率$P(x_i|c)$

拉普拉斯修正

类先验概率：$$P(c)=\frac{|D_c|}{|D|}\to \frac{|D_c|+1}{|D|+N}$$
$D_c$表示第$c$类样本组成的集合。

条件概率：
$$P(x_i|c)=\frac{|D_{c.x_i}|}{|D_c|}\to \frac{|D_{c.x_i}|+1}{|D_c|+N_i}$$