【啃书】【PRML】1.2 概率论基础

概率论的两个基本规则: Sum Rule和Product Rule，构成了机器学习中所涉及的所有概率论的基础，在概率图模型中广泛使用。

---

Sum Rule:

（式 1）

Product Rule:

（式2）

---

式1：p(X)是X发生的概率，也X边缘概率的求法；

式2：X,Y的联合概率；将p(X)换到式2的左侧，并将p(X, Y)改写成p(X|Y)*p(Y)，那么就变成了贝叶斯公式（式3）：

  (式3)

如果对式2的两侧同时对X积分，得到式4：

  (式4)

式4的这种用法很重要，尤其是概率图模型，推导HMM的前后向算法、卡尔曼滤波会用到式4的方法。