条件概率、全概率公式与贝叶斯公式

1、事件与事件运算

本文旨在回顾一下《概率论与数理统计》的知识，首先，我们来看一下其中的一些基本概念与事件的运算

基本概念如下：

• 样本空间：一次试验所有可能的结果的集合称为样本空间，用$\Omega$表示
• 样本点：每一种可能的结果称为样本点，样本点也称为单例、基本事件
• 随机事件：一个随机事件是样本空间$\Omega$的子集，由若干个样本点构成，用大写字母$A,B,...$ 表示

由于我们将随机事件定义为了样本空间$\Omega$的子集，故我们可以将集合运算（交、并、补等）移植到随机事件上。记号与集合运算保持一致

特别的，事件的并$A$$\cup$$B$也可记作$A$+$B$，事件的交$A$$\cap$$B$也可记作$AB$，此时也可分别称作和事件和积事件

1）独立事件

定义：事件A与事件B互不影响（不相关），事件A与事件B同时发生的概率等于事件A发生的概率乘以事件B发生的概率，即
$$P(AB)=P(A)\times P(B)$$

或
$$P(A|B)=P(A)$$

例如，抛骰子，两次抛出的点数没有影响；再例如，从袋子中随机有放回的取出一个球（独立重复试验），第二次取出某种颜色球的概率不受第一次影响

2）互斥事件

定义：在一次试验中，事件A与事件B不能同时发生，事件A的发生与否决定了事件B的发生与否，即
$$P(AB)=0$$

或
$$P(A\cup B)=P(A)+P(B)$$

例如，抛硬币，只要正面朝上，那么一定不会反面朝上

2、条件概率与全概率公式

2.1、条件概率

定义：事件A与事件B互为相关事件，事件B在事件A发生的条件下发生的概率，即
$$P(B|A)=\frac{P(AB)}{P(A)}$$

例如，从袋子中随机不放回的取出一个球，第一次取出某种颜色的球会影响第二次取出某种颜色球的概率

当事件A与事件B是独立事件时，条件概率等于事件本身的概率，即
$$P(A|B)=P(A)$$

通常，我们可以通过画决策树的方式来表达条件概率

画决策树的步骤分三步：确定根节点（制定目标）；确定子节点（例举目标的所有实现方案）；评估（评估每种方案实现的概率）

2.2、全概率公式

根据条件概率定义我们可以得到概率乘法公式和全概率公式：

1）概率乘法公式

定义：在概率空间中，若$P(A)$>0，则对任意事件B都有
$$P(AB)=P(A)P(B|A)$$

事件A与事件B同时发生的概率等于事件A发生的概率乘以事件A已发生的条件下事件B发生的概率；若事件A与事件B不相关，则事件A与事件B同时发生的概率等于每个事件单独发生概率的乘积

2）全概率公式

定义：在概率空间中，若一组事件$A_1,A_2,...,A_n$两两互斥且概率和为1，则对任意事件B都有
$$P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$$

推导过程如下：

设$\Omega$是一个必然事件，且$\Omega$为事件全集$A_1,A_2,...,A_n$，即
$$\Omega =A_1+A_2+...+A_n$$

因此有
$$\begin{array}{rl}P(B)& =P(\Omega B)\\ & =P(\Omega \cap B)\\ & =P(A_{1}B)+P(A_{2}B)+...+P(A_{n}B)\\ & =P(A_1)P(B|A_1)+...+P(A_n)P(B|A_n)\end{array}$$

3、贝叶斯公式

一般的，设可能导致事件B发生的原因为$A_1,A_2,...,A_n$，则在$P(A_i)$和$P(B|A_i)$已知时可以通过全概率公式计算事件B发生的概率

但是，在很多情况下，我们需要根据事件B发生这一结果反推其各个原因事件的发生概率：
$$P(A_k|B)=\frac{P(A_{k}B)}{P(B)}=\frac{P(A_k)P(B|A_k)}{{\sum }_{i=1}^{n}P(A_i)P(B|A_i)}$$

上式为贝叶斯（Bayes）公式。其中，$P(A_1),P(A_2),...,P(A_n)$称为先验概率（经验），是试验前已知的；$P(A_k|B)$称为后验概率（试验），后验概率是对先验概率的更新和修正。通过不断迭代，从而达到最优，由此得到的决策叫做贝叶斯决策

贝叶斯公式将条件概率$P(A|B)$与$P(B|A)$紧密联系起来，其最根本的数学基础就是
$$P(AB)=P(A)P(B|A)=P(B)P(A|B)$$

其本质内涵在于，全概率公式由因得果，贝叶斯公式则由果推因。贝叶斯公式在结果事件B已经发生的情况下，推断结果事件B是由于原因事件$A_i$造成的概率大小