模式识别与机器学习第十一章概率图模型

一、概率图模型：结构+概率

        条件独立：在给定Z的条件下，X,Y独立，记为X⊥Y|Z，则ｐ（ｘ，ｙ｜ｚ）＝ｐ（ｘ｜ｚ）ｐ（ｙ｜ｚ），ｐ（ｘ｜ｙ，ｚ）＝ｐ（ｘ｜ｚ），ｐ（ｙ｜ｘ，ｚ）＝ｐ（ｙ｜ｚ）

        用图结构表示多个随机变量之间的条件独立关系，使得多元随机向量的概率分布表示更简单。

        结点：随机向量。边：表示概率关系。

        类型：1.因果关系：有向概率图模型或贝叶斯网络。2.关联关系：无向图模型或马尔科夫随机场。

        １.有向概率图模型（因果关系）

        １.定义：有向无环图Ｇ= (Ｖ, ℰ)包含一个节点集合V和一个边的集合ℰ，其中每条边为有序点对。

        ２.D分离：A⊥B|C:集合C中的点与A、B中的点都满足和，满足的点都不在C中。

        ３.条件独立的检验：（贝叶斯球算法）假设在贝叶斯网络中有一个按一定规则运动的球。已知中间结点（或结点集合）Z，如果球不能由结点X出发到达结点Y（或者由Y到X），则称X和Y关于Z独立。

        通过：从当前结点的父结点方向过来的球，可以访问当前结点的任意子结点（父－＞子）。从当前结点的子结点方向过来的球，可以访问当前结点的任意父结点。（子－＞父）

        反弹：从当前结点的父结点方向传来的球，可以访问当前结点的任意父结点。（父－＞父）从当前结点的子结点方向传来的球，可以访问当前结点的任意子结点。（子－＞子）

        截止：当前结点组织贝叶斯球继续运动。

        未知节点：总能使贝叶斯球通过，同时还可以反弹从其子结点方向来的球。（父－＞子和子－＞父／子）

        已知结点：反弹从其父结点方向过来的球，截止从其子结点方向过来的球。（父－＞父和子－＞截止）

        2.无向概率图模型

        马尔科夫毯：对于一个无向图，一个结点所有邻结点构成该结点的马尔科夫毯。

        道德图：对于每对变量X和Y，如果两者间存在有向边（任一方向），或两者都是图中另一个变量Z的父结点，则在图中添加连接X和Y的无向边，得到的图即为道德图。

        团：图上的团是一个完全连接的结点子集。局部函数不应被定义在团的域上。

        极大团：无法再增加额外点的团（否则不满足完全连接的性质）

        势函数：其中为极大团。

三、概率推断和学习

        1.精确推断

        1.变量消去法（适用于贝叶斯网络和马尔科夫网）

        变量消去：将相关的条件概率先行求和或积分，从而一步步地消除变量。

        

        缺点：1.消除的最优次序是一个NP-hard问题。2.计算步骤无法存储，计算多个边际概率有很多重复计算。

        2.信念传播法

 

        把mij(xj) 作为xi传递到xj的消息。表示变量xi和xj的关联性的函数。每次消息传递操作仅与xi及其邻接结点N(i)直接相关，计算被限制在图的局部进行。将变量消去法的求和操作看作是一个消息传递过程，避免求解多个边际分布时的重复计算。

        叶子到根：指派一个根节点，从叶子结点开始传递信息，直到根结点接收到所有邻居结点传来的信息。根到叶子：从根节点开始传播信息，直到所有叶子结点接收到信息。

        四、典型的概率图模型

        1.马尔科夫链

        若假设第t时刻的状态只与前一个时刻的状态相关，称为一阶马尔科夫假设，得到的联合分布为马尔科夫链（或马尔科夫模型）。如果进一步假设与时间t无关，该链称为同质的、稳定的或时不变的。

        2.隐马尔科夫模型

        如果系统的状态不可见，只能观测到由隐含状态驱动的观测变量。

 

         前向算法：

         后向算法：

         Viterrbi解码：

         EM算法：

         缺点：1.仅捕捉了状态之间和状态及其对应输出之间的关系。2.学习目标和预测目标不匹配。HMM学习一个状态和观测的联合概率分布，但在预测过程中我们仅需条件概率。

        3.条件随机场（CRF）

        无向图模型，判别式模型，建模了每个状态和整个观测序列的依赖。