本博客中 PGM 系列笔记以 Stanford 教授 Daphne Koller 的公开课 Probabilistic Graphical Model 为主线,并参阅 Koller著作及其翻译版对笔记加以补充。博文的章节编号与课程视频编号一致。
博文持续更新(点击这里见系列笔记目录页),文中提到的资源以及更多见 PGM 资源分享和课程简介。
第 02 部分视频分为两篇博文记录(可点击 Part 链接进入):
Part 1:上篇主要讲解了贝叶斯网络(Bayesian Network Fundamentals)相关知识,从链式法则推导出网络的因子分解,讨论了不同推断的形式(Reasoning Patterns),网络中概率影响的流动性(Flow of Probabilistic Influence),介绍了有效迹(Active Trail)的定义,并举例 V 型结构(V-structure)和讲解四种双边迹。
Part 2:本篇将继续贝叶斯网络基础的讲解,主要目的在于诠释包括贝叶斯网络的两种等价观点,即条件独立和因子分解(Independence 和 Factorization)的等价性; 解释 d-分离 和 I-map 的概念,并介绍伯努利和多项式这两种朴素贝叶斯分类器。
4. 条件独立性 (Conditional Independence)
一个贝叶斯网络中,两个变量是否相关(相互影响)不是一概而论的,否则那网络模型也太容易建立和求解了。事实上,变量的独立性有时是和某些中间变量是否被观测到有关联的,即这时变量之间通常有一种条件独立性。下面我们来逐步对此作出解释。
4.1 独立和条件独立
首先介绍两种变量关系:独立和条件独立。对于分布 P 中随机变量
独立(Independence): 若 P(X,Y)=P(X)P(Y) ,则称 X,Y 独立,记作 P⊨X⊥Y .
此时以下三条陈述等价
- P(X,Y)=P(X)P(Y)
- P(X|Y)=P(X)
- P(Y|X)=P(Y)
例如,下图中只考虑 I,D 的分布(分布状态中 I,D 取值相同的概率累加,忽略 G ,即下图中每三行一累加),得到下图中间的表
条件独立(Conditional Independence): 若 P(X,Y,Z)=P(X|Z)P(Y|Z) ,称 X,Y 关于 Z 条件独立,记作
P⊨(X⊥Y|Z) .此时以下陈述等价
- P(X,Y,Z)=P(X|Z)P(Y|Z)
- P(X|Y,Z)=P(X|Z)
- P(Y|X,Z)=P(Y|Z)
- P(Y|X,Z)∝ϕ1(X,Z)ϕ2(Y,Z)
同理下图表示了 P(S,G|