机器学习理论与实战（十五）概率图模型03

03 图模型推理算法

         这节了解一下概率图模型的推理算法（Inference algorithm），也就是如何求边缘概率（marginalization probability）。推理算法分两大类，第一类是准确推理（Exact Inference）,第二类就是近似推理（Approximate Inference）。准确推理就是通过把分解的式子中的不相干的变量积分掉（离散的就是求和）；由于有向图和无向图都是靠积分不相干变量来完成推理的，准确推理算法不区分有向图和无向图，这点也可以在准确推理算法：和积算法（sum-product）里体现出来，值得一提的是有向图必须是无环的，不然和积算法不好使用。如果有向图包含了环，那就要使用近似推理算法来求解，近似推理算法包含处理带环的和积算法（”loopy” sum-product）和朴素均值场算法（naive mean field），下面就来了解下这两种推理算法的工作原理。

          假如给一个无向图，他包含数据节点X和标签Y,它可以分解成（公式一）的形式：

（公式一）

       有些人一开始觉得（公式一）很奇怪，貌似和上一节的无向图分解有点不一样，其实是一样的，稍微有点不同的是把不同的团块区分对待了，这里有两种团块，比如（公式一）右边第一项是归一化常量配分函数，第二项可能是先验概率，而第二项就可能是给定标签时样本的概率。这里用可能这个措辞，表示这些势函数只是一个抽象的函数，他可以根据你的应用来变化，它就是对两种不同团块的度量。如果X的取值状态只有两个，那么配分函数可以写成（公式二）的形式：

（公式二）

        配分函数就是把所有变量都积分掉得到的最终的度量值，如果要求边缘概率就要通过积分掉其他变量得到的度量值除以配分函数，例如我们要求（图一）中的x1的边缘概率P(x1)：

（图一）

       要求取P(x1),我们就要积分掉x2-x6这五个变量，写成数学的形式如（公式三）所示：

（公式三）

       如果你对代数分配率很熟悉，外面的加法符号大sigma可以分开写成（公式四）的样子：