图模型简介（一）

概率在现在模式识别中占有很重要的地位，可以把概率问题纯粹的转化成图的操作。

转化成图有三个优点：

                                      1.提供一个简单的方式去形象化概率模型结构，并且可以设计和改进出新的模型。

                                      2.观察模型性质，包括条件独立的性质，可以检查图模型的正确性。

                                      3.在数学公式计算比较隐含的情况下，复杂的计算，可以在复杂的图模型中进行推理和学习，转换成图的操作。

一个图由节点组成，节点间由边或者弧线相连，每一个节点都代表一个随机变量（或者一组随机变量）。并且相连的边表达了变量之间的概率关系。之后图表通过所有随机变量得到的联合分布，都可以分解成每一个独立变量的乘积。有向图用于表示具有因果关系的变量，而无向图用于表示具有软约束性质的变量（soft constraints）。为了能够解决推理问题，把有向图或者无向图模型转换成不同的因子图（factor  graph）表示形式。

为了能够用有向图来描述一个概率分布问题，可以用任意一个由3个变量a，b，c组成的联合分布p（a，b，c），在这里3个变量没有具体的表明是离散的还是连续的。图模型很大的一个方面是，一个特定的图可以表示一类概率分布的可能的状态。使用概率乘法法则（1）：

                                    p（X，Y）=P（X|Y）*P（X）

可以得到p（a，b，c）=p（c|a，b）*p（a，b），接着使用公式可以得到p（a，b，c）=p（c|a，b）*p（b|a）*p（a）。这种分解方式适用于任何联合分布。可以把得到的式子用如下图模型表示：

                                         

构图方式，因为c是在a，b作用条件下的，b是在a的作用条件下，故a，b有有向箭头指向c，a有有向箭头指向b，而a没有什么条件可以影响它，所以没有谁指向它。从图中可以看出，如果有一个节点指向另一个节点a-->b可以看出a是b的父节点（parent），b是a的子节点（child）。

可以由一般推广，一个有K个随机变量组成的联合分布p（w1，...，wk），使用概率乘法法则可以得到p（w1，...，wk）=p（wk|w1，...，wk-1）...p（w2|w1）p（w1）。

给定一个K，可以看出每一个K节点，都有一个比它低的节点指向它（起点除外），并且每一对节点间都有一个连线，像这样的图成为完全连接图（fully connected）。

如下图 一个非完全连接图：

                                              

从图中可以看出来，每一个每个条件分布的节点仅与它的父节点有关系，比如x1，x3是w5的父节点，x5只有x1，x3有关系。他们七个的联合分布：

p（x1，x2，x3，x4，x5，x6，x7）=p（x1）*p（x2）*p（x3）p（x4|x1，x2，x3）*p（x5|x1，x3）*p（x6|x4）*p（x7|x4，x5）。

所以在给定一个特定的有向图和相应的随机变量分布，联合分布可以定义为所有节点在其父节点下的条件分布的乘积，因此对于k个节点的图来说，联合分布可以定义为：

                                             

其中pak表示xk的一组父节点集合，这里x={x1，...，xk}。

一个例子：多项式回归模型。如图：

                                                           

在这个例子中，随机变量是多项式系数w的一个向量，观察数据时t=（t1，...，tN）的T（T表示括号内数据的转置），此外这个模型包含输入数据x=（x1，...，xN）的T，噪声方差为σ的平方，超参数（当参数时随机变量时，该参数分布中的参数就是超参数，简单的说就是参数的参数）α代表了优先w的高斯精度，所有的这些都是模型的参数，而不是随机变量。可以得到一个概率因子和N个条件分布p（tn|w）（n从1到N）公式（从上图可以看出）：

                                                                      

在实际使用中，模型不会像上图那么简单，为了方便的使用，引入tn表示一个贴上N的块（N表示有N个这样的节点），重新改写上边的公式：

                                                                

上图更简洁的代表方式：

                                                 

类似的，为了是x和α能够在图里表示出来，采用更方便的随机变量表示方法，决定性的参数将会被方形环包围，如下图：

                                                                                         

当把模型实际运用时，会具体的设定一组观察值为随机变量，比如在这个多项式拟合的例子中{tn}，是观察到的变量。而w则是隐藏的变量。

从已经观察值{tn}，可以通过后验概率计算公式计算的到多项式系数w的概率，现在简写成：

                                                                                                                 

这里为了简写忽略了决定性参数的计算。

由于最终的目标是为了对新的输入变量值进行预测，一般对w不太感兴趣。假如给定一组新的输入变量w‘（‘代表上弧线），和希望找到在观察数据条件下一致符合的t’分布。如下图：

                                                                                                              

在这个模型中，在决定参数条件下，所有随机变量的联合分布：

                                                                       

需要预测t‘的分布就可以通过整合出来的模型参数w以及概率加法法则计算得到：

                                                                                          。