1. 预备知识(条件概率)
1.1 条件概率定义公式
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) P(A | B) = \frac{P(A\cap B)}{P(B)} P(A∣B)=P(B)P(A∩B)
1.2 条件概率的乘法定理(乘法规则)
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) ⇒ P ( A ∩ B ) = P ( B ) P ( A ∣ B ) = P ( A ) P ( B ∣ A ) P(A | B) = \frac{P(A\cap B)}{P(B)} \Rightarrow P(A\cap B)=P(B)P(A|B)=P(A)P(B|A) P(A∣B)=P(B)P(A∩B)⇒P(A∩B)=P(B)P(A∣B)=P(A)P(B∣A)
2. 贝叶斯法则
2.1 介绍
P
(
B
∣
A
)
=
P
(
B
∩
A
)
P
(
A
)
=
P
(
A
∣
B
)
P
(
B
)
P
(
A
)
P(B|A) = \frac{P(B \cap A)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}
P(B∣A)=P(A)P(B∩A)=P(A)P(A∣B)P(B)
式子分母
P
(
A
)
P(A)
P(A)可以看作普通变量,因为我们只关心在给定事件A的情况下可能发生事件B的概率,
P
(
A
)
P(A)
P(A)的值时确定不变的。故有
a r g m a x P ( A ∣ B ) P ( B ) P ( A ) = a r g m a x P ( A ∣ B ) P ( B ) argmax\frac{P(A|B)P(B)}{P(A)}=argmaxP(A|B)P(B) argmaxP(A)P(A∣B)P(B)=argmaxP(A∣B)P(B)
注:这里argmax的意思是求事后面的值最大的B的参数
2.2 事件A的概率计算方法
首先,根据乘法规则:
P
(
A
∩
B
)
=
P
(
A
∣
B
)
P
(
B
)
P(A\cap B)=P(A|B)P(B)
P(A∩B)=P(A∣B)P(B)
P
(
A
∩
B
ˉ
)
=
P
(
A
∣
B
ˉ
)
P
(
B
ˉ
)
P(A\cap \bar{B})=P(A|\bar{B})P(\bar{B})
P(A∩Bˉ)=P(A∣Bˉ)P(Bˉ)
因此有:
P ( A ) = P ( A ∩ B ) + P ( A ∩ B ˉ ) = P ( A ∣ B ) P ( B ) + P ( A ∣ B ˉ ) P ( B ˉ ) P(A)=P(A \cap B)+P(A \cap \bar{B})=P(A|B)P(B)+P(A|\bar{B})P(\bar{B}) P(A)=P(A∩B)+P(A∩Bˉ)=P(A∣B)P(B)+P(A∣Bˉ)P(Bˉ)
推广到一般形式,假设B事样本空间
Ω
\Omega
Ω的一个划分,即
∑
i
B
i
=
Ω
\sum_iB_i=\Omega
∑iBi=Ω。如果
A
⊆
⋃
i
B
i
A \subseteq\bigcup_{i}B_i
A⊆⋃iBi,并且
B
i
B_i
Bi互不相交,那么
A
=
∑
i
=
1
B
i
A
A=\sum_{i=1}B_iA
A=∑i=1BiA,于是
P
(
A
)
=
∑
i
=
1
P
(
B
i
A
)
P(A)=\sum_{i=1}P(B_iA)
P(A)=∑i=1P(BiA)。由乘法定理可得
P
(
A
)
=
∑
i
P
(
A
∣
B
i
)
P
(
B
i
)
P(A)=\sum_i P(A|B_i)P(B_i)
P(A)=i∑P(A∣Bi)P(Bi)该公式称为全概率公式。