机器学习系列手记（六）：概率图模型之概率图模型的联合概率分布

概率图模型

      对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测节点表示观测到的数据，用隐含节点表示潜在知识，用边来描述知识与数据的相互关系，最后基于这样的关系图获得一个概率分布。
概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相互关系，其中有向边表示单向依赖，无向边表示相互依赖。
      概率图模型分为贝叶斯网络和马尔科夫网络两大类。贝叶斯网络可以用一个有向图结构，马尔科夫网络可以表示成一个无向图的网络结构。

概率图模型的联合概率分布

      概率图模型最为巧妙的设计就是能够用简洁清晰的图示形式表达概率生成的关系，而通过概率图还原其概率分布不仅是概率图模型最重要的功能，也是掌握概率图模型最重要的标准。

1、贝叶斯网络的联合概率分布

      由图可见，在给定A的条件下B和C是条件独立的，基于条件概率的定义可得

同理，在给定B和C的条件下A和D是条件独立的，可得

      由以上两式可得联合概率分布

2、马尔科夫网络的联合概率分布

      在马尔科夫网络中，联合概率分布的定义为

其中C为图中最大团构成的集合， Z = ∑ x Π Q ∈ C φ Q ( x Q ) Z=\sum_{x}\Pi_{Q∈C}\varphi_Q(x_Q) Z=∑x​Π