概率图模型总结

简介

概率图模型（Probabilistic Graphical Model，PGM），简称图模型（Graphical Model，GM），是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型，从而给研究高维空间中的概率模型带来了很大的便捷性。

$$p(x)=P(X=x)=p(x_1)p(x_2|x_1)p(x_3|x_1,x_2),...,p(x_K|x_1,...,x_{K-1})$$

图模型的基本问题：

1. 表示问题：对于一个概率模型，如何通过图结构来描述变量之间的依赖关系；
2. 推断问题：在已知部分变量的时候，计算其他变量的后验概率分布；
3. 学习问题：图模型的学习包括图结构的学习和参数的学习。

模型表示

常见的概率图模型可以分为两类：有向图模型和无向图模型。

有向图模型

有向图模型也称为贝叶斯网络或者信念网络，表示为$G(V,E)$，节点集合 V = { X 1 , X 2 , . . . , X K } V=\{X_1, X_2, ..., X_K\} V={ X1​,X2​,...,XK​}，表示K个随机变量，可以使可观察的变量，隐变量或者是未知参数，E为边的集合，每条边表示两个变量之间的因果关系。

常见的有向图模型

sigmoid信念网络

sigmoid信念网络中的变量取值为{0, 1}，对于变量$X_k$和它的父节点集合${\pi }_k$，其条件概率分布为：
P ( X k = 1 ∣ x π k , θ ) = σ ( θ 0 + ∑ x i ∈ x π k