对全概率公式和贝叶斯公式的理解及应用
在我们遇到的各种事件中,有些事件发生的概率很容易求出,例如,投掷一颗均匀骰子的每种结果的概率都是 1 / 6 1/6 1/6。但有些事件则比较复杂,其概率我们往往很难直接得出。在中学时期,有些题目需要通过分类讨论的思想来求解,通过对变量或参数的限定,把一个大的问题分成几个子模块分别进行研究,把一般的问题特殊化,就可以更容易地解决这个问题。
数学形式
全概率公式
设事件组 B 1 , B 2 , . . . , B n B_1,B_2,...,B_n B1,B2,...,Bn满足下列条件:
1 ) ∑ i = 1 n B i = S 1)\sum\limits_{i=1}^{n}B_i=S 1)i=1∑nBi=S;
2 ) B 1 , B 2 , . . . , B n 2)B_1,B_2,...,B_n 2)B1,B2,...,Bn互不相容;
3 ) P ( B i ) > 0 , i = 1 , 2 , . . . n 3)P(B_i)>0,i=1,2,...n 3)P(Bi)>0,i=1,2,...n;
则对任意事件
A
A
A,有
P
(
A
)
=
∑
i
=
1
n
P
(
B
i
)
P
(
A
∣
B
i
)
P(A)=\sum\limits_{i=1}^{n}P(B_i)P(A|B_i)
P(A)=i=1∑nP(Bi)P(A∣Bi)
贝叶斯公式
设事件组 B 1 , B 2 , . . . , B n B_1,B_2,...,B_n B1,B2,...,Bn满足下列条件:
1 ) ∑ i = 1 n B i = S 1)\sum\limits_{i=1}^{n}B_i=S 1)i=1∑nBi=S;
2 ) B 1 , B 2 , . . . , B n 2)B_1,B_2,...,B_n 2)B1,B2,...,Bn互不相容;
3 ) P ( B i ) > 0 , i = 1 , 2 , . . . n 3)P(B_i)>0,i=1,2,...n 3)P(Bi)>0,i=1,2,...n;
则对任意事件
A
A
A,有
P
(
B
i
∣
A
)
=
P
(
A
B
i
)
P
(
A
)
=
P
(
B
i
)
P
(
A
∣
B
i
)
∑
j
=
1
n
P
(
B
j
)
P
(
A
∣
B
j
)
,
i
=
1
,
2
,
.
.
.
n
P(B_i|A)=\frac{P(AB_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{\sum\limits_{j=1}^{n}P(B_j)P(A|B_j)},i=1,2,...n
P(Bi∣A)=P(A)P(ABi)=j=1∑nP(Bj)P(A∣Bj)P(Bi)P(A∣Bi),i=1,2,...n
(等式右侧的分子是分母求和项中的第i项)
由因推果——全概率公式
利用全概率公式分析解决问题的过程与中学时分类讨论的过程很相似。
在对复杂事件 A A A的研究过程中,我们可以找出导致 A A A的全部原因 B 1 , B 2 , . . . , B n B_1,B_2,...,B_n B1,B2,...,Bn。在每一种情况的讨论下,求出该原因发生时 A A A发生的概率,进而得出 A A A发生的总的概率。
我们来看一个例子。
有三个袋子,第一个袋子中有4个黑球,1个白球,第二个袋子中有3个黑球、3个白球,第三个袋子中有3个黑球、5个白球,现随机地取一个袋子,再从中取出一个球,则此球是白球的概率是多少?
总共有三种情况,记事件 B i B_i Bi为从第 i i i个袋子里取出球,由于取袋子是随机的,故 B i = 1 3 B_i=\frac{1}{3} Bi=31。
假设我们取到的是第一个袋子,即事件 B 1 B_1 B1发生。此时袋子中有4个黑球,1个白球,所以在这种情况下取到白球的概率为 P ( A ∣ B 1 ) = 1 5 P(A|B_1)=\frac{1}{5} P(A∣B1)=51。类似地,在取到第二个袋子、第三个袋子的情况下,我们可以求出取到白球的概率为 P ( A ∣ B 2 ) = 1 2 P(A|B_2)=\frac{1}{2} P(A∣B2)=21, P ( A ∣ B 3 ) = 5 8 P(A|B_3)=\frac{5}{8} P(A∣B3)=85。
进而,我们求出在所有情况下,取出白球的概率为 P ( A ) = ∑ i = 1 3 P ( B i ) P ( A ∣ B i ) = 1 3 × 1 5 + 1 3 × 1 2 + 1 3 × 5 8 = 53 120 P(A)=\sum\limits_{i=1}^{3}P(B_i)P(A|B_i)=\frac{1}{3}\times\frac{1}{5}+\frac{1}{3}\times\frac{1}{2}+\frac{1}{3}\times\frac{5}{8}=\frac{53}{120} P(A)=i=1∑3P(Bi)P(A∣Bi)=31×51+31×21+31×85=12053
在以上的过程中,我们将问题细化,对三种情况中的每种具体情况进行讨论,再将三种情况的结果汇总形成最后的答案,这就是全概率公式简化并求解问题的过程。
由果索因——贝叶斯公式
在刚才的例子中,由于取袋子是随机的,故取到每个袋子的概率都是 1 3 \frac{1}{3} 31,现在我们增加一个条件
已知从袋子中取出的球为白球,则此球是从第二个袋子中取出的概率是多少?
对于这个问题,在本质上,是我们在已知某个结果 A A A发生的前提下,去反推导致该结果的原因 B i B_i Bi发生的概率。已经发生的结果 A A A为我们带来了新的信息,为我们提供了新的经验,我们取出了一个球,这个球是白球,那我们就有充足的理由相信,我刚才取球的那个袋子里,白球多的可能性会更大一些。在三个袋子中,第一个袋子中的白球最少,第二个袋子黑球白球一样多,第三个袋子里白球很多。所以从第三个袋子中取球的概率一定大于从第二个袋子中取球的概率,前两者也一定大于从第一个袋子中取球的概率。
具体的值究竟是多少呢?
由贝叶斯公式,我们知道,已知 A A A发生,则 A A A是由第二个原因 B 2 B_2 B2导致的概率为 P ( B 2 ∣ A ) = P ( B 2 ) P ( A ∣ B 2 ) P ( A ) = 20 53 P(B_2|A)=\frac{P(B_2)P(A|B_2)}{P(A)}=\frac{20}{53} P(B2∣A)=P(A)P(B2)P(A∣B2)=5320
可以看到, P ( B 2 ∣ A ) = 20 53 > 1 3 = P ( B 2 ) P(B_2|A)=\frac{20}{53}>\frac{1}{3}=P(B_2) P(B2∣A)=5320>31=P(B2),新的结果导致从第二个袋子里取出球的概率提升了。
P ( B i ) P(B_i) P(Bi)在统计学上称为先验概率,是在没有进一步的信息,不知道事件 A A A发生的情况下,人们对事件 B i B_i Bi发生概率的认识。
当已知 A A A发生的情况下,我们就会对 B i B_i Bi发生的概率有了新的估计,其概率由之前的 P ( B i ) P(B_i) P(Bi)更新为 P ( B i ∣ A ) P(B_i|A) P(Bi∣A),我们将后者成为后验概率。
基于新的信息,我们将原来的先验概率进行了修正,贝叶斯公式刻画的正是这一过程。
在日常生活中,我们也可以不断地根据现有的信息,对原先的认知进行修正,进而不断靠近当下认知和行为的“最优解”。