概率图模型(02)上: 贝叶斯网中独立关系(因子分解 & 影响流动)

　　本博客中 PGM 系列笔记以 Stanford 教授 Daphne Koller 的公开课 Probabilistic Graphical Model 为主线，并参阅 Koller著作及其翻译版对笔记加以补充。博文的章节编号与课程视频编号一致。
　　博文持续更新（点击这里见系列笔记目录页），文中提到的资源以及更多见 PGM 资源分享和课程简介。

　　第 02 部分视频分为两篇博文记录（可点击 Part 链接进入）：

　　Part 1：上篇主要讲解了贝叶斯网络（Bayesian Network Fundamentals）相关知识，从链式法则推导出网络的因子分解，讨论了不同推断的形式（Reasoning Patterns），网络中概率影响的流动性（Flow of Probabilistic Influence），介绍了有效迹（Active Trail）的定义，并举例 V 型结构（V-structure）和讲解四种双边迹。
　　Part 2：下篇将继续贝叶斯网络基础的讲解，主要目的在于诠释包括贝叶斯网络的两种等价观点，即条件独立和因子分解（Independence 和 Factorization）的等价性； 解释 d-分离 和 I-Map 的概念，并介绍伯努利和多项式这两种朴素贝叶斯分类器。

1. 语义和因子分解 （Semantics & Factorization）

　　语义：贝叶斯网结构语义的形式化定义。

1.1 学生例子

　　课程中经常拿这个例子解释概念，故一开始先在这里列出来。

　　图中贝叶斯网络模型反映如下五个随机变量之间的关系：

变量	含义	取值
Difficulty	课程本身难度	0=easy, 1=diffcult
Intelligence	学生聪明程度	0=stupid, 1=smart
Grade	学生课程成绩	1=A, 2=B, 3=C
SAT	学生高考成绩	0=low, 1=high
Letter	可否得推荐信	0=未获得推荐信, 1=得到推荐信

1.２ 链式法则和因子分解

• 概率论中的链式法则

　　由链式法则，我们可以知道学生例子中的联合分布可以分解为：

$$P(I,D,G,L,S)=P(I)P(D|I)P(G|I,D)P(L|I,D,G)P(S|I,D,G,L)$$ 　　考虑到图中以及展现出来的变量之间的独立性关系，上式可以简化为下述的 因子分解 $$P(I,D,G,L,S)=P(I)P(D)P(G|I,D)P(L|G)P(S|I)$$ 　　这样，我们就将图体现的分布表示为一些 因子的乘积了（Distribution defined as a product of factors）。从而 条件概率的独立性可以直接从概率分布表达式看出来。 值得一提的是，可以注意到此时若给网络中添加节记作 $X$，我们在计算联合分布 $P(X,I,D,G,L,S)$时不需要写下 6 个新数字。在因子模型中，只需要修改与所添节点相连的结点变量的局部概率模型即可。
　　我们可以从 形式化的角度陈述这样的结论，定义 因子分解。

定义（因子分解）： 令 $\cal G$ 为定义在 $X_1,...,X_n$ 上的一个贝叶斯网。若 $P$ 可表示为乘积 P(X1,...Xn)=