全概率公式及贝叶斯公式---先验概率、后验概率

1. 全概率公式

设实验$E$的样本空间为$S$，$A$为实验$E$的事件，$B_1$,$B_2$……$B_n$为样本空间S的划分（互斥），且$P(B_i)>0$, $i\in N^{\ast }$,则：
$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+...$

解析：$P(A|B_1)$即事件A发生且落在样本空间$B_1$中的概率。因为$P(A)=P(A\cap S)$,$P(A\cap S)=P(A\cap B_1)+P(A\cap B_2)+...=P(A{B}_1)+P(A{B}_2)+...$.
其中，$P(A{B}_1)=P(A|B_1)P(B_1)$，落在$B_1$空间的概率乘以A在$B_1$上发生的概率，其余类推。

例1 据美国的一份资料报导,在美国来说患肺癌的概率约为0.1%,在人群中有20%是吸烟者,他们患肺癌的率约为0.4%,求不吸者患肺癌的概率是多少?

解：
全概率空间为患肺癌$E$和不患肺癌$\overline{E}$之和，吸烟和患肺癌分别设为事件A、C。
$C$为患肺癌，$\overline{C}$为不患肺癌，$P(C)=0.001,P(A)=0.2$
吸烟者中0.4%患癌：$P(C|A)=0.004$,$P(\overline{A})=0.8$
$P(C)=P(C|A)P(A)+P(C|\overline{A})P(\overline{A})$
$0.001=0.004\ast 0.2+P(C|\overline{A})P(\overline{A})$
$P(C|\overline{A})P(\overline{A})=0.0002$
$P(C|\overline{A})=0.00025$（不吸者患肺癌的概率）

2.贝叶斯公式

设实验E的样本空间为S，A为E的事件，$B_1$,$B_2$……$B_n$为样本空间S的划分（互斥），且$P(A)>0,P(B_i)>0$, $i\in N^{\ast }$,则:
$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum _{j=1}^{n}P(A|B_j)P(B_j)}$$
解析：$P(B_i|A)=\frac{P(A{B}_i)}{P(A)}$,
分子：$P(A{B}_i)=P(A|B_i)P(B_i)$，$P(B_i|A)$即A发生在$B_i$空间内的概率。
分母：$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+...$，即全概率公式展开。

例2 对以往数据分析结果表明,当机器调整得良好时,产品的合格率为98%,而当机器发生某种故障时,其合格率为55%。每天早上机器开动时,机器调整良好的概率为95%,试求已知某日早上第一件产品是合格品时,机器调整良好的概率是多少?

解：
设“产品合格”为A，“机器良好”为B
当机器调整得良好时,产品的合格率为98%：$P(A|B)=0.98$
当机器发生某种故障时,其合格率为55%：$P(A|\overline{B})=0.55$
机器调整良好的概率为95%：$P(B)=0.95$
产品是合格品时,机器调整良好的概率：$P(B|A)$
由贝叶斯公式得：
分母为A的全概率：
$P(A|B)P(B)+P(A|\overline{B})P(\overline{B})=0.98\times 0.95+0.55\times 0.05=0.9585$
分子为AB同时发生的概率：$P(AB)=P(A|B)P(B)=0.98\times 0.95=0.931$
$P(B|A)=\frac{0.931}{0.9585}=0.9713$

关于先验概率和后验概率

例2中，每天早上机器开动时,机器调整良好的概率为95%,因为是在没有进行概率计算前就得到了，可以作为概率计算条件，所以叫先验概率（prior probability）。
在得到这个先验概率后，通过计算再反映出先验概率反映的情况的概率是后验概率（posterior probability）。
先验概率反映了历史的信息，后验概率由于是通过先验概率进行计算后推出当前的信息，所以反映的是当下的信息。

关于空事件、平凡事件

空事件（empty event）即不会发生的事件，记作$\varnothing$，$P(\varnothing )=0$；
平凡事件（trivial event）即所有可能发生的事件，记作$\Omega$，$P(\Omega )=1$。

条件概率公式及链式法则

条件概率公式：在$A$给定的条件下，$B$发生的概率为：

$P(B|A)=\frac{P(A\cap B)}{P(A)}=\frac{P(A,B)}{P(A)}$

链式法则：

有上面的条件概率公式变形得到，两个事件$A$、$B$同时发生的概率为：

$P(A\cap B)=P(A,B)=P(A|B)\times P(B)$

若有三个事件$A$、$B$、$C$，它们同时发生的概率为：

$P(A\cap B\cap C)=P(A,B,C)=P(A|B,C)\times P(B,C)=P(A|B,C)\times P(B|C)\times P(C)$

推广到$n$个事件：
$P({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n)=P({\alpha }_1)P({\alpha }_2|{\alpha }_1)\dots P({\alpha }_k|{\alpha }_1\cap \cdots \cap {\alpha }_{n-1})=P({\alpha }_1|{\alpha }_2,{\alpha }_3,\dots ,{\alpha }_n)P({\alpha }_2|{\alpha }_3,{\alpha }_4,\dots ,{\alpha }_n)\dots P({\alpha }_{n-1}|{\alpha }_n)P({\alpha }_n)$

即可以把几个事件组合的概率表示为关于第一个、最后一个或者任意制定一个事件的概率。

贝叶斯规则：

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

贝叶斯规则使得能用逆的条件概率$P(A|B)$求出$P(B|A)$

例3：如果学生聪明(smart)的概率为0.3，学生成绩优秀(gradeA)的概率为0.2，学生聪明的条件下成绩优秀的概率为$P(gradeA|smart)=0.6$，求学生成绩优秀的条件下聪明的概率。

解：
由贝叶斯公式得：

$P(smart)=0.3$

$P(gradeA)=0.2$

$P(smart|gradeA)=\frac{P(gradeA|smart)P(smart)}{P(gradeA)}=\frac{0.6\times 0.3}{0.2}=0.9$

其中$P(smart)=0.3$和$P(gradeA)=0.2$为先验概率，$P(smart|gradeA)$和$P(gradeA|smart)$为后验概率。