条件概率、全概率公式与贝叶斯公式
1、事件与事件运算
本文旨在回顾一下《概率论与数理统计》的知识,首先,我们来看一下其中的一些基本概念与事件的运算
基本概念如下:
- 样本空间:一次试验所有可能的结果的集合称为样本空间,用 Ω \Omega Ω表示
- 样本点:每一种可能的结果称为样本点,样本点也称为单例、基本事件
- 随机事件:一个随机事件是样本空间 Ω \Omega Ω的子集,由若干个样本点构成,用大写字母 A , B , . . . A,B,... A,B,... 表示
由于我们将随机事件定义为了样本空间 Ω \Omega Ω的子集,故我们可以将集合运算(交、并、补等)移植到随机事件上。记号与集合运算保持一致
特别的,事件的并 A A A ∪ \cup ∪ B B B也可记作 A A A+ B B B,事件的交 A A A ∩ \cap ∩ B B B也可记作 A B AB AB,此时也可分别称作和事件和积事件
1)独立事件
定义:事件A与事件B互不影响(不相关),事件A与事件B同时发生的概率等于事件A发生的概率乘以事件B发生的概率,即
P
(
A
B
)
=
P
(
A
)
×
P
(
B
)
P(AB)=P(A)×P(B)
P(AB)=P(A)×P(B)
或
P
(
A
∣
B
)
=
P
(
A
)
P(A|B)=P(A)
P(A∣B)=P(A)
例如,抛骰子,两次抛出的点数没有影响;再例如,从袋子中随机有放回的取出一个球(独立重复试验),第二次取出某种颜色球的概率不受第一次影响
2)互斥事件
定义:在一次试验中,事件A与事件B不能同时发生,事件A的发生与否决定了事件B的发生与否,即
P
(
A
B
)
=
0
P(AB)=0
P(AB)=0
或
P
(
A
∪
B
)
=
P
(
A
)
+
P
(
B
)
P(A∪B)=P(A)+P(B)
P(A∪B)=P(A)+P(B)
例如,抛硬币,只要正面朝上,那么一定不会反面朝上
2、条件概率与全概率公式
2.1、条件概率
定义:事件A与事件B互为相关事件,事件B在事件A发生的条件下发生的概率,即
P
(
B
∣
A
)
=
P
(
A
B
)
P
(
A
)
P(B|A)=\frac{P(AB)}{P(A)}
P(B∣A)=P(A)P(AB)
例如,从袋子中随机不放回的取出一个球,第一次取出某种颜色的球会影响第二次取出某种颜色球的概率
当事件A与事件B是独立事件时,条件概率等于事件本身的概率,即
P
(
A
∣
B
)
=
P
(
A
)
P(A|B)=P(A)
P(A∣B)=P(A)
通常,我们可以通过画决策树的方式来表达条件概率
画决策树的步骤分三步:确定根节点(制定目标);确定子节点(例举目标的所有实现方案);评估(评估每种方案实现的概率)
2.2、全概率公式
根据条件概率定义我们可以得到概率乘法公式和全概率公式:
1)概率乘法公式
定义:在概率空间中,若
P
(
A
)
P(A)
P(A)>0,则对任意事件B都有
P
(
A
B
)
=
P
(
A
)
P
(
B
∣
A
)
P(AB)=P(A)P(B|A)
P(AB)=P(A)P(B∣A)
事件A与事件B同时发生的概率等于事件A发生的概率乘以事件A已发生的条件下事件B发生的概率;若事件A与事件B不相关,则事件A与事件B同时发生的概率等于每个事件单独发生概率的乘积
2)全概率公式
定义:在概率空间中,若一组事件
A
1
,
A
2
,
.
.
.
,
A
n
A_1,A_2,...,A_n
A1,A2,...,An两两互斥且概率和为1,则对任意事件B都有
P
(
B
)
=
∑
i
=
1
n
P
(
A
i
)
P
(
B
∣
A
i
)
P(B)=\sum_{i=1}^{n}P(A_i)P(B|A_i)
P(B)=i=1∑nP(Ai)P(B∣Ai)
推导过程如下:
设
Ω
\Omega
Ω是一个必然事件,且
Ω
\Omega
Ω为事件全集
A
1
,
A
2
,
.
.
.
,
A
n
A_1,A_2,...,A_n
A1,A2,...,An,即
Ω
=
A
1
+
A
2
+
.
.
.
+
A
n
\Omega=A_1+A_2+...+A_n
Ω=A1+A2+...+An
因此有
P
(
B
)
=
P
(
Ω
B
)
=
P
(
Ω
∩
B
)
=
P
(
A
1
B
)
+
P
(
A
2
B
)
+
.
.
.
+
P
(
A
n
B
)
=
P
(
A
1
)
P
(
B
∣
A
1
)
+
.
.
.
+
P
(
A
n
)
P
(
B
∣
A
n
)
\begin{aligned} P(B)&=P(\Omega B) \\ &=P(\Omega \cap B) \\ &=P(A_1B)+P(A_2B)+...+P(A_nB) \\ &=P(A_1)P(B|A_1)+...+P(A_n)P(B|A_n) \end{aligned}
P(B)=P(ΩB)=P(Ω∩B)=P(A1B)+P(A2B)+...+P(AnB)=P(A1)P(B∣A1)+...+P(An)P(B∣An)
3、贝叶斯公式
一般的,设可能导致事件B发生的原因为 A 1 , A 2 , . . . , A n A_1,A_2,...,A_n A1,A2,...,An,则在 P ( A i ) P(A_i) P(Ai)和 P ( B ∣ A i ) P(B|A_i) P(B∣Ai)已知时可以通过全概率公式计算事件B发生的概率
但是,在很多情况下,我们需要根据事件B发生这一结果反推其各个原因事件的发生概率:
P
(
A
k
∣
B
)
=
P
(
A
k
B
)
P
(
B
)
=
P
(
A
k
)
P
(
B
∣
A
k
)
∑
i
=
1
n
P
(
A
i
)
P
(
B
∣
A
i
)
P(A_k|B)=\frac{P(A_kB)}{P(B)}=\frac{P(A_k)P(B|A_k)}{\sum_{i=1}^{n}P(A_i)P(B|A_i)}
P(Ak∣B)=P(B)P(AkB)=∑i=1nP(Ai)P(B∣Ai)P(Ak)P(B∣Ak)
上式为贝叶斯(Bayes)公式。其中, P ( A 1 ) , P ( A 2 ) , . . . , P ( A n ) P(A_1),P(A_2),...,P(A_n) P(A1),P(A2),...,P(An)称为先验概率(经验),是试验前已知的; P ( A k ∣ B ) P(A_k|B) P(Ak∣B)称为后验概率(试验),后验概率是对先验概率的更新和修正。通过不断迭代,从而达到最优,由此得到的决策叫做贝叶斯决策
贝叶斯公式将条件概率
P
(
A
∣
B
)
P(A|B)
P(A∣B)与
P
(
B
∣
A
)
P(B|A)
P(B∣A)紧密联系起来,其最根本的数学基础就是
P
(
A
B
)
=
P
(
A
)
P
(
B
∣
A
)
=
P
(
B
)
P
(
A
∣
B
)
P(AB)=P(A)P(B|A)=P(B)P(A|B)
P(AB)=P(A)P(B∣A)=P(B)P(A∣B)
其本质内涵在于,全概率公式由因得果,贝叶斯公式则由果推因。贝叶斯公式在结果事件B已经发生的情况下,推断结果事件B是由于原因事件 A i A_i Ai造成的概率大小