概率图模型
本节详细介绍一下概率图模型,概率图模型比如隐马尔可夫模型和条件随机场模型在实体识别、自然语言处理的过程中:分词、关键词提取部分都会用到。
首先概率图模型可大致分为两类:第一类是使用有向无环图表 示变量间的依赖关系,称为有向圈模型或贝叶斯网 (Bayesian network); 第二类 是使用无向国表示变量间的相关关系,称为无向图模型或马尔可夫网 (Markovnetwork).
隐马尔可夫模型
隐马尔可夫模型 (Hidden Markov Model,简称 HMM)是结构最筒单的动态 贝叶斯网 (dynamic Bayesian network),这是一种著名的有向图模型,主要用于 时序数据建模,在语音识别、自然语言处理等领域有广泛应用.
隐马尔可夫模型中的变量可分为两组.第一组是状态变量{y1,y2... yn}, 其中执 yi 表示第i时刻的系统状态.通常假定状态变量是隐 藏的、不可被观测的,因此状态变量亦称隐变量 (hidden variable). 第二组是观测变量{X1,X2,...,Xn}, 其中Xi表示第i时刻的观测值。隐马尔可夫模型中,系统通常在多个状态{s1,s2,.., sn} 之间转换,因此状态变量yi的取值范围 Y(称为状态空间)通常是有 N 个可能取值的高散空间.观测变量均可以 是离散型也可以是连续型,为便于讨论,我们仅考虑离散型观测变量,并假定其 取值范围 X 为 {o1,o2...oM}.
图 14.1 中的箭头表示了变量间的依赖关系.在任一时刻,观测变量的取值 仅依赖于状态变量,即 Xt 由 Yt 确定,与其他状态变量及观测变量的取值无关. 同时 ,t 时刻的状态yt仅依赖于 t-1 时刻的状态y(t-1),与其余 n-2 个状态无 关.这就是所谓的"马尔可夫链" (Markovchain),即:系统下一时刻的状态仅由当前状态决定,不依赖于以往的任何状态.基于这种依赖关系,所有变量的联合概率分布为