概率图模型(02)下: 贝叶斯网两等价观点(条件独立和因子分解)

　　本博客中 PGM 系列笔记以 Stanford 教授 Daphne Koller 的公开课 Probabilistic Graphical Model 为主线，并参阅 Koller著作及其翻译版对笔记加以补充。博文的章节编号与课程视频编号一致。
　　博文持续更新（点击这里见系列笔记目录页），文中提到的资源以及更多见 PGM 资源分享和课程简介。

　　第 02 部分视频分为两篇博文记录（可点击 Part 链接进入）：

　　Part 1：上篇主要讲解了贝叶斯网络（Bayesian Network Fundamentals）相关知识，从链式法则推导出网络的因子分解，讨论了不同推断的形式（Reasoning Patterns），网络中概率影响的流动性（Flow of Probabilistic Influence），介绍了有效迹（Active Trail）的定义，并举例 V 型结构（V-structure）和讲解四种双边迹。　
　　Part 2：本篇将继续贝叶斯网络基础的讲解，主要目的在于诠释包括贝叶斯网络的两种等价观点，即条件独立和因子分解（Independence 和 Factorization）的等价性； 解释 d-分离 和 I-map 的概念，并介绍伯努利和多项式这两种朴素贝叶斯分类器。

4. 条件独立性 （Conditional Independence）

　　一个贝叶斯网络中，两个变量是否相关（相互影响）不是一概而论的，否则那网络模型也太容易建立和求解了。事实上，变量的独立性有时是和某些中间变量是否被观测到有关联的，即这时变量之间通常有一种条件独立性。下面我们来逐步对此作出解释。

4.1 独立和条件独立

　　首先介绍两种变量关系：独立和条件独立。对于分布 $P$ 中随机变量 $X,Y,Z$

• 独立（Independence）: 若 $P(X,Y)=P(X)P(Y)$，则称 $X,Y$ 独立，记作 $P\models X\perp Y$.

• 此时以下三条陈述等价

  • $P(X,Y)=P(X)P(Y)$
  • $P(X|Y)=P(X)$
  • $P(Y|X)=P(Y)$

  例如，下图中只考虑 $I,D$ 的分布（分布状态中 $I,D$ 取值相同的概率累加，忽略 $G$，即下图中每三行一累加），得到下图中间的表 $P(I,D)$. 右边两小表分别为 $I,D$ 的边缘分布 $P(I)$ 和 $P(I)$，计算易得满足$P(I,D)=P(I)P(D)$. 即 $I,D$ 独立，此时 $G$ 未被观测到（“忽略 $G$ ”就是这个意思）。

• 条件独立（Conditional Independence）: 若 $P(X,Y,Z)=P(X|Z)P(Y|Z)$，称 $X,Y$ 关于 $Z$ 条件独立，记作 $P\models (X\perp Y|Z)$.

• 此时以下陈述等价

  • $P(X,Y,Z)=P(X|Z)P(Y|Z)$
  • $P(X|Y,Z)=P(X|Z)$
  • $P(Y|X,Z)=P(Y|Z)$
  • $P(Y|X,Z)\propto \phi_1 (X,Z)\phi_2 (Y,Z)$

  同理下图表示了 P(S,G|