区分贝叶斯定理、贝叶斯推断、贝叶斯网络

从条件概率推导得贝叶斯定理

通常，我们想知道某些事件发生时其它事件也发生的概率。我们将事件 B 发生时事件 A 也发生的条件概率写为 $P（A|B）$，读作“在B发生的条件下A的概率”。

如果一个事件的概率不以任何方式影响另一个事件，则该事件被称为独立事件。

根据文氏图，可以清楚地看到，在事件B发生的情况下，事件A发生的条件概率就是：
$$P(A|B)=\frac{P(AB)}{P(B)}$$
所以，$$P(AB)=P(A|B)P(B)$$
同理可得，$$P(B|A)=\frac{P(AB)}{P(A)}$$
所以，$$P(AB)=P(B|A)P(A)$$
所以，$$P(A|B)P(B)=P(B|A)P(A)$$
所以，$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

贝叶斯定理

贝叶斯定理（英语：Bayes’ theorem）是概率论中的一个定理，描述在已知一些条件下，某事件的发生几率。

通常，事件A在事件B已发生的条件下发生的几率，与事件B在事件A已发生的条件下发生的几率是不一样的。然而，这两者是有确定的关系的，贝叶斯定理就是这种关系的陈述。
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

其中$A$以及$B$为随机事件，且$P(B)$不为零。$ P(A|B)$是指在事件$B$发生的情况下事件$A$发生的概率。

在贝叶斯定理中，每个名词都有约定俗成的名称：

$P(A|B)$是已知$B$发生后，$A$的条件概率。也由于得自$B$的取值而被称作$A$的后验概率。

$P(A)$是$A$的先验概率（或边缘概率）。之所以称为"先验"是因为它不考虑任何$B$方面的因素。

$P(B|A)$是已知$A$发生后，$B$的条件概率。也由于得自$A$的取值而被称作$B$的后验概率。

$P(B)$是$B$的先验概率。

以上的说法是可以的，但是，在贝叶斯理论中，当我们考虑说$A$依赖于其参数$B$时，我们不应当直接用以上的名称。此时$P(A)$是$A$的先验概率(Prior probability)，因为它不考虑其参数$B$；

$P(A|B)$是给定参数$B$时$A$发生的概率，称其为后验概率(Posterior probability)。

而 $P(B|A)$则是已知结果$A$时，$B$的概率，称$B$的似然性/可能性(likelihood)。

贝叶斯推断

作为一个普遍的原理，贝叶斯定理对于所有几率的解释是有效的。这一定理的主要应用为贝叶斯推断，是推论统计学中的一种推断法。

贝叶斯网络