（9-1）TensorFlow概率图模型实战：概率图模型表示

概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。概率图模型理论分为概率图模型表示理论，概率图模型推理理论和概率图模型学习理论。近年来，概率图模型在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。在本章的内容中，将详细介绍使用TensorFlow实现概率图模型开发的知识。

9.1  概率图模型表示

概率图模型（PGM/probabilistic graphical model）是一种用于学习带有依赖（dependency）的模型的强大框架。在形式上，概率图模型（或简称图模型）是由图结构组成的。图的每个节点（node）都关联了一个随机变量，而图的边（edge）则被用于编码这些随机变量之间的关系。我们可以将概率图模型简单的理解为“概率+结构”，即利用图模型来结构化各变量的概率并有效、清晰的描述变量间的相互依赖关系，同时还能进行高效的推理，因此在机器学习中概率图模型是一种应用广泛的方法。

根据图是有向的还是无向的，我们可以将图的模式分为两大类——贝叶斯网络（ Bayesian network）和马尔可夫网络（Markov networks）。具体架构如图9-1所示。

图9-1  概率图学习架构

在接下来的内容中，将首先详细讲解概率图中的的表示知识。

9.1.1  贝叶斯网络：有向图模型

贝叶斯网络通过有向无环图(Directed Acyclic Graph)来表现。有向指的是因果关系（就是图中的箭头，如图9-1（a）所示），无向图没有箭头（如图9-1（b）所示），无环指的是因果关系不构成环状，也就是没有A→ B,B→ C,C→ A的这种情况。如图9-1（c）是有向无环图，如图9-1（d）是有向含环图。整个贝叶斯网络反映的就是：在一系列随机事件中，一些事件的发生对另一些事件概率的影响。（这里也可以理解为条件概率，或者是因果关系，就像感到饿了的这个事件会对吃东西这个事件产生影响一样）。

图9-1  图例

在概率上，如果事件a和b独立，也就是说a的发生对b没有影响，就成立：

P ( a , b ) = P ( a ) P ( b )

如果已经发生了c，那么说明a,b独立的式子将变为：

P ( a , b ∣ c ) = P ( a ∣ c ) P ( b ∣ c )

对于有向无环图 ，如果A，B，C是三个集合（可以是单独的节点或者是节点的集合），为了判断 A 和 B 是否是 C 条件独立的（也就是C发生的时候，A和B是否独立）， 我们考虑图中所有 A 和 B 之间的无向路径 （不管箭头朝向，只要是把A,B通过几个点最终连接到一起的）。对于其中的一条路径，如果它满足以下两个条件中的任意一条，则称这条路径是阻塞（block）的：

（1）路径中存在某个节点 X 是 head-to-tail或者 tail-to-tail 节点（上图的c的位置），并且 X 是包含在 C 中的；（因为A到B的连接是一条线，上面已经证明 head-to-tail或者 tail-to-tail的节点c可以把联系给砍断，多一说这条路径被block了）

（2）路径中存在某个节点 X 是 head-to-head 节点（上图的c的位置），并且 X 或 X 的子节点是不包含在 C 中的； （这个是head-to-head的情况，C未知，则A，B没有联系）

（3）如果 A，B 间所有的路径都是关于C阻塞的，那么 A，B 就是关于 C 条件独立的；否则， A，B 不是关于C条件独立的。

9.1.2  马尔可夫网络：无向图模型

与有向图不同的是无向图的变量之间没有显示的因果关系，变量间相互作用，因此我们通过无向的边连接。在有向图中，可以根据三个基本的结构（或d-划分）来判断两变量间是否条件独立即两个结点路径是否被“阻隔”，那么在无向图中这些基本结构的性质是否仍成立呢？答案明显不是，由于移除了图的方向，对应的父结点与子结点间的方向性也被移除，因此只要图中存在至少一条路径未被“阻隔”则条件独立性均未必成立，或者更精确地说，存在⾄少某些对应于图的概率分布不满⾜条件独⽴性质。此外，我们还将思考一个这样的问题，是否能将无向图转化为有向图？答案当然也不能实现完全等价的转化。若要将无向图转化为有向图则必须以牺牲一部分条件独立性为代价进行操作。

此外，在有向图中可以依赖每个变量条件概率求解联合概率，而在无向图中由于失去了变量间的因果指向关系，其并不对应一个条件分布，因此通过局部参数表示联合概率将会面对一致性问题。对此我们只能放弃条件概率，牺牲局部概率的表示能力而定义势函数来表示联合分布概率。对此我们根据朴素图理论分割引入团的概念。

无向图模型的联合概率一般以全连通子图为单位进行分解。无向图中的一个全连通子图，称为团（Clique），即团内的所有节点之间都连边。在所有团中，如果一个团不能被其它的团包含，这个团就是一个最大团（Maximal Clique）。