前阵子面试时被一道贝叶斯定理的题问倒了,虽说是很久没接触遗忘了,但也反映了个人在概率学习上不够扎实,也没有做到学而时习,实在惭愧。在这里重新温习一下贝叶斯定理。
说到 贝叶斯定理
,就不得不重点提一下 条件概率
和 全概率
:
一、条件概率
定义:假定事件
A
A
A 发生的概率为
P
(
A
)
P(A)
P(A),事件
B
B
B 发生的概率为
P
(
B
)
P(B)
P(B) 。在事件
B
B
B 发生的前提下,事件
A
A
A 发生的概率
P
(
A
∣
B
)
P(A|B)
P(A∣B) 就是条件概率。
P
(
A
∣
B
)
=
P
(
A
B
)
P
(
B
)
P(A|B) = \frac{P(AB)}{P(B)}
P(A∣B)=P(B)P(AB)
用文氏图理解一下:
事件
B
B
B 发生后,事件
A
A
A 发生的概率,就是上图
A
A
A 与
B
B
B 交集部分
P
(
A
B
)
P(AB)
P(AB) 在
P
(
B
)
P(B)
P(B) 部分的占比,即:
P
(
A
∣
B
)
=
P
(
A
B
)
P
(
B
)
P(A|B) = \frac{P(AB)}{P(B)}
P(A∣B)=P(B)P(AB),
同理,事件
A
A
A 发生后,事件
B
B
B 发生的概率就是:
P
(
B
∣
A
)
=
P
(
A
B
)
P
(
A
)
P(B|A) = \frac{P(AB)}{P(A)}
P(B∣A)=P(A)P(AB)。
所以条件概率公式又可以推导为:
P
(
A
∣
B
)
=
P
(
A
B
)
P
(
B
)
=
P
(
B
∣
A
)
∗
P
(
A
)
P
(
B
)
(1)
P(A|B) = \frac{P(AB)}{P(B)} =\frac{P(B|A)*P(A)}{P(B)} \tag{1}
P(A∣B)=P(B)P(AB)=P(B)P(B∣A)∗P(A)(1)
注:
当事件 A 与事件 B 相互独立时: P ( A B ) = P ( A ) ∗ P ( B ) P(AB)=P(A)*P(B) P(AB)=P(A)∗P(B)。
二、全概率
定义:设事件
B
1
,
B
2
,
…
,
B
n
B_1, B_2, …, B_n
B1,B2,…,Bn 是一个完备事件组,即它们互不相容,和为全集。则对于任意的事件
A
A
A 都有:
P
(
A
)
=
P
(
A
B
1
)
+
P
(
A
B
2
)
+
…
+
P
(
A
B
n
)
=
∑
i
=
1
n
P
(
A
B
i
)
P(A) = P(AB_1) + P(AB_2) + … + P(AB_n) = \sum_{i=1}^{n}P(AB_i)
P(A)=P(AB1)+P(AB2)+…+P(ABn)=i=1∑nP(ABi)
由条件概率的定义可知:
P
(
A
B
)
=
P
(
A
∣
B
)
∗
P
(
B
)
P(AB) = P(A|B)*P(B)
P(AB)=P(A∣B)∗P(B),所以:
P
(
A
)
=
∑
i
=
1
n
P
(
B
i
)
P
(
A
∣
B
i
)
(2)
P(A) = \sum_{i=1}^{n}P(B_i)P(A|B_i) \tag{2}
P(A)=i=1∑nP(Bi)P(A∣Bi)(2)
全概率就是表示造成某个结果,有多种原因,问造成这种结果的概率是多少。
用文氏图理解一下:
A
1
、
A
2
、
A
3
A_1、A_2、A_3
A1、A2、A3 组成了一个完备事件组,要求事件
B
B
B 发生的概率,就是求事件
B
B
B 与事件
A
1
A_1
A1同时发生的概率 、事件
B
B
B 与事件
A
2
A_2
A2 同时发生的概率 、事件
B
B
B 与事件
A
3
A_3
A3同时发生的概率 的之和。
三、贝叶斯定理
贝叶斯定理是执果索因的过程,就是当已知结果(后验概率),问导致这个结果的第 i 原因(先验概率)的可能性是多少。
在条件概率公式和全概率公式的基础上可以推出贝叶斯定理:
P
(
B
i
∣
A
)
=
P
(
A
B
i
)
P
(
A
)
=
P
(
A
∣
B
i
)
P
(
B
i
)
)
∑
i
=
1
n
P
(
A
∣
B
i
)
P
(
B
i
)
(3)
P(B_i|A) =\frac{P(AB_i)}{P(A)}= \frac{P(A|B_i)P(B_i))}{\sum_{i=1}^{n}P(A|B_i)P(B_i)} \tag{3}
P(Bi∣A)=P(A)P(ABi)=∑i=1nP(A∣Bi)P(Bi)P(A∣Bi)P(Bi))(3)
现有这么一个场景:某员工通勤有 3 条路线可以选择,路线1最近,选择路线1的概率为 50%,选择路线2的概率为30%,选择路线3的概率为20%。
假设已知选择路线1但是未迟到的概率是20%,选择路线2但是未迟到的概率是40%,选择路线3但是未迟到的概率是70%。
请问,该员工在某天未迟到,他选择路线1的可能性有多大?
解:
令事件未迟到为 A A A,选择路线 i i i 为 B i B_i Bi。
已知:
- P ( B 1 ) = 0.5 P(B_1) = 0.5 P(B1)=0.5 ; P ( A ∣ B 1 ) = 0.2 P(A|B_1)=0.2 P(A∣B1)=0.2 ;
- P ( B 2 ) = 0.3 P(B_2) = 0.3 P(B2)=0.3 ; P ( A ∣ B 2 ) = 0.4 P(A|B_2)=0.4 P(A∣B2)=0.4 ;
- P ( B 1 ) = 0.2 P(B_1) = 0.2 P(B1)=0.2 ; P ( A ∣ B 3 ) = 0.7 P(A|B_3)=0.7 P(A∣B3)=0.7 ;
- 求 P ( B 1 ∣ A ) P(B_1|A) P(B1∣A)?
那么引用式(3):
P ( B i ∣ A ) = P ( A B i ) P ( A ) = P ( A ∣ B i ) P ( B i ) ) ∑ i = 1 n P ( A ∣ B i ) P ( B i ) P(B_i|A) =\frac{P(AB_i)}{P(A)}= \frac{P(A|B_i)P(B_i))}{\sum_{i=1}^{n}P(A|B_i)P(B_i)} P(Bi∣A)=P(A)P(ABi)=∑i=1nP(A∣Bi)P(Bi)P(A∣Bi)P(Bi))
P ( B 1 ∣ A ) = P ( A ∣ B 1 ) P ( B 1 ) P ( B 1 ) P ( A ∣ B 1 ) + P ( B 2 ) P ( A ∣ B 2 ) + P ( B 3 ) P ( A ∣ B 3 ) ≈ 0.28 P(B_1|A) =\frac{P(A|B_1)P(B_1)}{P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+P(B_3)P(A|B_3)}\approx0.28 P(B1∣A)=P(B1)P(A∣B1)+P(B2)P(A∣B2)+P(B3)P(A∣B3)P(A∣B1)P(B1)≈0.28
参考:https://blog.csdn.net/u010164190/article/details/81043856