机器学习笔记之概率图模型——因子图
引言
本节针对精确推断之变量消去法中出现的存在环结构概率图的情况,介绍因子图(Factor Graph),其主要将带环的无向图结构转化为因子图结构。
回顾:图结构相关思想
针对贝叶斯网络/马尔可夫随机场,可以通过因子分解的形式对结点变量集合 X \mathcal X X的联合概率分布 P ( X ) \mathcal P(\mathcal X) P(X)进行表示:
- 贝叶斯网络(有向图)
在这里同样需要注意,这里的
i i i是结点变量的下标,它只能说‘有可能是特征下标’,即‘每个结点变量中均仅包含一个特征/变量’。
P ( X ) = ∏ X P ( x i ∣ x p a ( i ) ) \mathcal P(\mathcal X) = \prod_{\mathcal X} \mathcal P(x_i\mid x_{pa(i)}) P(X)=X∏P(xi∣xpa(i)) - 马尔可夫随机场(无向图)
P ( X ) ∏ i = 1 K ψ C i ( x C i ) \mathcal P(\mathcal X) \prod_{i=1}^{\mathcal K} \psi_{\mathcal C_i}(x_{\mathcal C_i}) P(X)i=1∏KψCi(xCi)
其中, x C i x_{\mathcal C_i} xCi表示编号为 i i i的最大团,无向图中一共包含 K \mathcal K K个极大团。而 ψ C i ( x C i ) \psi_{\mathcal C_i}(x_{\mathcal C_i}) ψCi(xCi)表示极大团 x C i x_{\mathcal C_i} x