Pattern Recognition and Machine Learning 第八章 贝叶斯网络

标签： 机器学习

---

重点：

1. 条件独立和概率分解
2. 和积算法
3. 最大和算法

---

图模型

概率论可以使用两个简单的方程(加和规则和乘积规则)表示，可以完全通过代数计算来对更加复杂的模型进行建模和求解。概率图模型是可以用来帮助分析的工具，它提供了几个有用的性质:

• 将概率模型的结构可视化，可以用于设计新的模型。
• 通过观察图形，可以更深刻地认识模型的性质，如条件独立性质。
• 用图计算表达复杂计算，隐式地承载了数学表达式。

类似于图论，现在每个点和边都被赋予新的对象。
结点：表示一个随机变量(或一组随机变量)；
边（链接）：表示变量之间的概率关系；
有向图：贝叶斯网络，表达随机变量之间的因果关系；
无向图：马尔科夫随机场(Markov random fields)，表示随机变量之间的软限制；

图描述了联合概率分布在所有随机变量上能够分解为一组因子的乘积的方式。
为了求解推断问题，把有向图和无向图都转化为一个不同的表示形式,被称为因子图(factor graph)。

---

贝叶斯网络

一个贝叶斯网络1定义包括一个有向无环图（DAG）和一个条件概率表(Conditional probability table, CPT)集合。DAG中每一个节点表示一个随机变量，可以是可直接观测变量或隐藏变量，而有向边表示随机变量间的条件依赖；条件概率表中的每一个元素对应DAG中唯一的节点，存储此节点对于其所有直接前驱节点的联合条件概率。

要求的有向无环图(DAG)，边从父节点指向子节点，每个图都对应了一个联合概率分布

$$p(x) =∏^K_{k=1}p(x_k|pa_k)$$ 其中 $pa_k$是节点 $x_k$的所有直接父节点的集合。体现了 因果关系，以及 条件独立的结构。如果右侧的每一个条件概率分布都是归一化的，那么这个表示方法整体总是归一化的。

条件独立

每一个节点在其直接前驱节点的值制定后，这个节点条件独立于其所有非直接前驱前辈节点。例如虫子的飞行相对于上一步是有依赖关系的，可是跟更前面的状态是独立的。用公式表示即

$$x_k\bot anc_k|pa_k$$ 其中 $anc_k$表示 $x_k$的所有祖先非父亲节点。该式子即表示了在给定父亲关系后，本节点和祖先相互独立。且条件独立的性质为 $$A ⊥ B | C ⇔ P(A, B | C) = P(A | C)P(B | C) ⇔ P(A | C, B) = P(A | C)$$

条件独立简化了模型的结构，降低了模型的训练和推断的计算量。联合概率分布的条件独立性可以直接从图中读出来，不用进行任何计算。

tail-to-tail

结点c被称为关于这个路径“尾到尾”(tail-to-tail)，因为c与两个箭头的尾部相连。由于c的连接使得结点ab相互依赖。然而，当我们以结点c为条件时，被用作条件的结点“阻隔”了从a到b的路径，使得a和b条件独立了。

$$a\leftarrow c\rightarrow b$$ 联合概率分布为 $$p(a, b, c) = p(a | c)p(b | c)p(c)$$ 判断a与b相互独立， $$p(a,b)=\sum_cp(a | c)p(b | c)p(c)$$ 一般地,这不能分解为乘积p(a)p(b)，因此 $a\not\bot b|\emptyset$
假设以变量C为条件 $$p(a,b|c)={p(a | c)p(b | c)p(c)\over p(c)}=p(a|c)p(b|c)$$ 即得到 $a\bot b|c$

head-to-tail

结点 c 被称为关于从结点 a 到结点 b 的路径“头到尾”( head-to-tail )。由于c的连接使得结点ab相互依赖然而，当我们以结点c为条件时（即观测c之后），被用作条件的结点“阻隔”了从a到b的路径，使得a和b条件独立了。

$$a\rightarrow c\rightarrow b$$ 联合概率分布为 $$p(a, b, c) = p(a)p(c | a)p(b | c)$$ 判断a与b相互独立， $$p(a,b)=p(a)\sum_cp(c | a)p(b | c)=p(a)p(b|a)$$ 一般地,这不能分解为乘积p(a)p(b)，因此 $a\not\bot b|\emptyset$
假设以变量C为条件 $$p(a,b|c)={p(a)p(c | a)p(b | c)\over p(c)}=p(a|c)p(b|c)$$ 即得到 $a\bot b|c$

head-to-head

第三个例子与前两个例子的行为相反。结点c关于从a到b的路径是“头到头”(head-to-head)，因为它连接了两个箭头的头。当结点c没有被观测到的时候，它“阻隔”了路径，从而变量a和b是独立的。然而，以c为条件时，路径被“解除阻隔”，使得a和b相互依赖了。

$$a\rightarrow c\leftarrow b$$ 联合概率分布为 $$p(a, b, c) = p(a)p(b)p(c | a,b)$$ 判断a与b相互独立， $$p(a,b)=p(a)p(b)\sum_cp(c | a,b)=p(a)p(b)$$ 因此与前面两图的结果不同， $a\bot b|\emptyset$
假设以变量C为条件 $$p(a,b|c)={p(a)p(b)p(c | a,b)\over p(c)}\not=p(a|c)p(b|c)$$ 即得到 $a\not\bot b|c$

因此这三种情况的阻隔情况为：

结点类型	未观测	观测到
尾到尾结点	通畅	阻隔
头到尾结点	通畅	阻隔
头到头结点或其后继	阻隔（都不能观测）	通畅（任一被观测到）

阻隔即意味着被阻隔的两个集合独立。

d-划分(directed-separation)

找到所有从A到B的通路（不需要箭头指向一致），如果都被阻塞，那么条件独立成立，即有$A\bot B|C$

将图模型看成滤波器，将一些满足条件的概率分布p(x)过滤出来，有两个条件：

1. 概率分布p(x)满足有向分解性质；
2. 概率分布满足由图的d-划分性质表示的所有的条件独立性质。

这两个条件的功能是等价的。

Markov Blanket

由父结点、子结点、同父结点组成的结点集合被称为马尔科夫毯，也是将$x_i$与图的剩余部分隔离开的最小结点集合。注意，子结点的观测不会阻隔某个结点到同父结点的路径，因此必须也观测同父结点。若看成一棵家谱树，同父节点更类似于伴偶结点。

以图中所有剩余结点为条件, $x_i$的条件概率分布值依赖于马尔科夫毯中的变量。

---

1. 来源，算法杂货铺——分类算法之贝叶斯网络(Bayesian networks) ↩