从条件概率推导得贝叶斯定理
通常,我们想知道某些事件发生时其它事件也发生的概率。我们将事件 B 发生时事件 A 也发生的条件概率写为 P ( A ∣ B ) P(A | B) P(A∣B),读作“在B发生的条件下A的概率”。
如果一个事件的概率不以任何方式影响另一个事件,则该事件被称为独立事件。
根据文氏图,可以清楚地看到,在事件B发生的情况下,事件A发生的条件概率就是:
P
(
A
∣
B
)
=
P
(
A
B
)
P
(
B
)
P(A|B)=\frac{P(AB)}{P(B)}
P(A∣B)=P(B)P(AB)
所以,
P
(
A
B
)
=
P
(
A
∣
B
)
P
(
B
)
P(AB)=P(A|B)P(B)
P(AB)=P(A∣B)P(B)
同理可得,
P
(
B
∣
A
)
=
P
(
A
B
)
P
(
A
)
P(B|A)=\frac{P(AB)}{P(A)}
P(B∣A)=P(A)P(AB)
所以,
P
(
A
B
)
=
P
(
B
∣
A
)
P
(
A
)
P(AB)=P(B|A)P(A)
P(AB)=P(B∣A)P(A)
所以,
P
(
A
∣
B
)
P
(
B
)
=
P
(
B
∣
A
)
P
(
A
)
P(A|B)P(B)=P(B|A)P(A)
P(A∣B)P(B)=P(B∣A)P(A)
所以,
P
(
A
∣
B
)
=
P
(
B
∣
A
)
P
(
A
)
P
(
B
)
P(A|B)=\frac {P(B|A)P(A)}{P(B)}
P(A∣B)=P(B)P(B∣A)P(A)
贝叶斯定理
贝叶斯定理(英语:Bayes’ theorem)是概率论中的一个定理,描述在已知一些条件下,某事件的发生几率。
通常,事件A在事件B已发生的条件下发生的几率,与事件B在事件A已发生的条件下发生的几率是不一样的。然而,这两者是有确定的关系的,贝叶斯定理就是这种关系的陈述。
P
(
A
∣
B
)
=
P
(
B
∣
A
)
P
(
A
)
P
(
B
)
P(A|B)=\frac {P(B|A)P(A)}{P(B)}
P(A∣B)=P(B)P(B∣A)P(A)
其中 A A A以及 B B B为随机事件,且 P ( B ) P(B) P(B)不为零。$ P(A|B) 是 指 在 事 件 是指在事件 是指在事件B 发 生 的 情 况 下 事 件 发生的情况下事件 发生的情况下事件A$发生的概率。
在贝叶斯定理中,每个名词都有约定俗成的名称:
P ( A ∣ B ) P(A|B) P(A∣B)是已知 B B B发生后, A A A的条件概率。也由于得自 B B B的取值而被称作 A A A的后验概率。
P ( A ) P(A) P(A)是 A A A的先验概率(或边缘概率)。之所以称为"先验"是因为它不考虑任何 B B B方面的因素。
P ( B ∣ A ) P(B|A) P(B∣A)是已知 A A A发生后, B B B的条件概率。也由于得自 A A A的取值而被称作 B B B的后验概率。
P ( B ) P(B) P(B)是 B B B的先验概率。
以上的说法是可以的,但是,在贝叶斯理论中,当我们考虑说 A A A依赖于其参数 B B B时,我们不应当直接用以上的名称。此时 P ( A ) P(A) P(A)是 A A A的先验概率(Prior probability),因为它不考虑其参数 B B B;
P ( A ∣ B ) P(A|B) P(A∣B)是给定参数 B B B时 A A A发生的概率,称其为后验概率(Posterior probability)。
而 P ( B ∣ A ) P(B|A) P(B∣A)则是已知结果 A A A时, B B B的概率,称 B B B的似然性/可能性(likelihood)。
贝叶斯推断
作为一个普遍的原理,贝叶斯定理对于所有几率的解释是有效的。这一定理的主要应用为贝叶斯推断,是推论统计学中的一种推断法。