【数理统计】贝叶斯公式

【数理统计】贝叶斯公式

要推导出贝叶斯公式，需要用到条件概率和全概率公式。

全概率公式

首先给出样本空间的概念，设$\Omega$ 为随机试验$E$的样本空间，$A_1,A_2,...,A_n$为随机事件，每个事件相互独立，即$A_i{A}_j=\varnothing ,i\ne j$，且${\cup }_{i=1}^n{A}_i=\Omega$。
对任一随机事件$B$有：$$P(B)=\sum _{i=1}^{\infty }P(A_i)P(B|A_i)$$称为全概率公式。

条件概率

$$P(AB)=P(B|A)P(A)\Rightarrow P(B|A)=\frac{P(AB)}{P(A)}$$

贝叶斯公式

贝叶斯公式解决的是因果之间的“逆问题”，即假如知道各原因（事件$A_i$）发生的概率，现在观测到了一个结果（事件B），如何反推出导致事件B发生的各原因的概率，即求$P(A_i|B)$，已知的是$P(A_i),P(B|A_i)$。

由条件概率和全概率公式，我们可以推出贝叶斯公式：
$$P(A_i|B)=\frac{P(A_{i}B)}{P(B)}=\frac{P(B|A_i)P(A_i)}{{\sum }_{i=1}^{\infty }P(A_i)P(B|A_i)}$$

通常，$P(A_i)$称为先验概率，$P(A_i|B)$称为后验概率，而$P(B|A_i)$则是通过试验数据得到。后验概率是我们要得到的结果，因为后验概率有助于我们分析事件发生的原因。