图模型(graphical model)是一类用图来表示概率分布的一类技术的总称。
它的主要优点是把概率分布中的条件独立用图的形式表达出来,从而可以把一个概率分布(特定的,和应用相关的)表示为很多因子的乘积,从而简化在边缘化一个概率分布的计算,这里的边缘化指的是给定n个变量的概率分布,求取其中m个变量的概率分布的计算(m<n)。
图模型主要有两大类,一类是贝叶斯网络(又称有向图模型);另外一类是马尔可夫网络(又称无向图模型)。
谈到一个图模型,主要有三个主要的关注点:
1)图模型的表示(representation); 指的是一个图模型应该是什么样子的
2)图模型的推断(inference); 指的是已知图模型的情况下,怎么去计算一个查询的概率,例如已经一些观察节点,去求其它未知节点的概率
3)图模型的学习(learning); 这里又分为两类,一类是图的结构学习;一类是图的参数学习。
在本文,我们主要关注图模型的表示,在以后的文章中,我们会论述图模型的其它方面。
一. 有向图模型的表示
顾名思义,有向图模型的结构表示是有向图的形式;通过一个有向图来表示一个概率分布,从而可以利用这个有向图模型来进行推断。
对于有向图模型,一个关键就是怎么通过一个有向图来表示一个概率分布呢?
对于一个概率分布p(x1,x2,...,xn),通过概率论中的链式法则