概率，贝叶斯定理，贝叶斯网络的那点事

---

0 前言

最近在学习贝叶斯网络，有些概念已经忘记了，索性就从头开始，将概率—>贝叶斯定理—>贝叶斯网络的公式和概念都串起来讲一遍。

1 概率公式

1.1 联合概率

联合概率指的是包含多个条件且所有条件同时成立的概率，记作P(X=a,Y=b)或P(A,B)，有的书上也习惯记作P(AB)。注意是所有条件同时成立，同时发生。

1.2 边缘概率(又称先验概率)

边缘概率是与联合概率对应的，P(X=a)或P(Y=b)，这类仅与单个随机变量有关的概率称为边缘概率

1.3 联合概率与边缘概率的关系

$$\begin{array}{rl}& P(X=a)=\sum _{b}P(X=a,Y=b)\\ & P(Y=b)=\sum _{a}P(X=a,Y=b)\end{array}$$

1.4 条件概率(又称先验概率)

如图，$A$和$B$不是相互独立的，求在条件$B$成立的情况下，$A$的概率，记作$P(X=a|Y=b)$或$P(B\mid A)$，且有$P(B\mid A)\ne P(B)$。也就是$AB$中基本事件数占$A$中的比例：
$$P(B\mid A)=\frac{P(AB)}{P(A)}$$

1.5 全概率公式

简单推导一下，如图：
$$P(A)=P\left(A{B}_1\right)+P\left(A{B}_2\right)+P\left(A{B}_3\right)+P\left(A{B}_4\right)+P\left(A{B}_5\right)$$
由条件概率公式：
$$P\left(A{B}_1\right)=P(A)P\left(B_1\mid A\right)=P(B)P\left(A\mid B_1\right)$$
代入可以得到：
$$\begin{array}{rl}P(A)& =\\ & \end{array}$$