图模型简介(一)

概率在现在模式识别中占有很重要的地位,可以把概率问题纯粹的转化成图的操作。

转化成图有三个优点:

                                      1.提供一个简单的方式去形象化概率模型结构,并且可以设计和改进出新的模型。

                                      2.观察模型性质,包括条件独立的性质,可以检查图模型的正确性。

                                      3.在数学公式计算比较隐含的情况下,复杂的计算,可以在复杂的图模型中进行推理和学习,转换成图的操作。

一个图由节点组成,节点间由边或者弧线相连,每一个节点都代表一个随机变量(或者一组随机变量)。并且相连的边表达了变量之间的概率关系。之后图表通过所有随机变量得到的联合分布,都可以分解成每一个独立变量的乘积。有向图用于表示具有因果关系的变量,而无向图用于表示具有软约束性质的变量(soft constraints)。为了能够解决推理问题,把有向图或者无向图模型转换成不同的因子图(factor  graph)表示形式。

为了能够用有向图来描述一个概率分布问题,可以用任意一个由3个变量a,b,c组成的联合分布p(a,b,c),在这里3个变量没有具体的表明是离散的还是连续的。图模型很大的一个方面是,一个特定的图可以表示一类概率分布的可能的状态。使用概率乘法法则(1):

                                    p(X,Y)=P(X|Y)*P(X)

可以得到p(a,b,c)=p(c|a,b)*p(a,b),接着使用公式可以得到p(a,b,c)=p(c|a,b)*p(b|a)*p(a)。这种分解方式适用于任何联合分布。可以把得到的式子用如下图模型表示:

                                         

构图方式,因为c是在a,b作用条件下的,b是在a的作用条件下,故a,b有有向箭头指向c,a有有向箭头指向b,而a没有什么条件可以影响它,所以没有谁指向它。从图中可以看出,如果有一个节点指向另一个节点a-->b可以看出a是b的父节点(parent),b是a的子节点(child)。

可以由一般推广,一个有K个随机变量组成的联合分布p(w1,...,wk),使用概率乘法法则可以得到p(w1,...,wk)=p(wk|w1,...,wk-1)...p(w2|w1)p(w1)。

给定一个K,可以看出每一个K节点,都有一个比它低的节点指向它(起点除外),并且每一对节点间都有一个连线,像这样的图成为完全连接图(fully connected)。

如下图 一个非完全连接图:

                                              

从图中可以看出来,每一个每个条件分布的节点仅与它的父节点有关系,比如x1,x3是w5的父节点,x5只有x1,x3有关系。他们七个的联合分布:

p(x1,x2,x3,x4,x5,x6,x7)=p(x1)*p(x2)*p(x3)p(x4|x1,x2,x3)*p(x5|x1,x3)*p(x6|x4)*p(x7|x4,x5)。

所以在给定一个特定的有向图和相应的随机变量分布,联合分布可以定义为所有节点在其父节点下的条件分布的乘积,因此对于k个节点的图来说,联合分布可以定义为:

                                             

其中pak表示xk的一组父节点集合,这里x={x1,...,xk}。

一个例子:多项式回归模型。如图:

                                                           

在这个例子中,随机变量是多项式系数w的一个向量,观察数据时t=(t1,...,tN)的T(T表示括号内数据的转置),此外这个模型包含输入数据x=(x1,...,xN)的T,噪声方差为σ的平方,超参数(当参数时随机变量时,该参数分布中的参数就是超参数,简单的说就是参数的参数)α代表了优先w的高斯精度,所有的这些都是模型的参数,而不是随机变量。可以得到一个概率因子和N个条件分布p(tn|w)(n从1到N)公式(从上图可以看出):

                                                                      

在实际使用中,模型不会像上图那么简单,为了方便的使用,引入tn表示一个贴上N的块(N表示有N个这样的节点),重新改写上边的公式:

                                                                

上图更简洁的代表方式:

                                                 

类似的,为了是x和α能够在图里表示出来,采用更方便的随机变量表示方法,决定性的参数将会被方形环包围,如下图:

                                                                                         

当把模型实际运用时,会具体的设定一组观察值为随机变量,比如在这个多项式拟合的例子中{tn},是观察到的变量。而w则是隐藏的变量。

从已经观察值{tn},可以通过后验概率计算公式计算的到多项式系数w的概率,现在简写成:

                                                                                                                 

这里为了简写忽略了决定性参数的计算。

由于最终的目标是为了对新的输入变量值进行预测,一般对w不太感兴趣。假如给定一组新的输入变量w‘(‘代表上弧线),和希望找到在观察数据条件下一致符合的t’分布。如下图:

                                                                                                              

在这个模型中,在决定参数条件下,所有随机变量的联合分布:

                                                                       

需要预测t‘的分布就可以通过整合出来的模型参数w以及概率加法法则计算得到:

                                                                                          



  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值