知识图谱 每日阅读(三)

概率图模型

本节详细介绍一下概率图模型，概率图模型比如隐马尔可夫模型和条件随机场模型在实体识别、自然语言处理的过程中：分词、关键词提取部分都会用到。

首先概率图模型可大致分为两类:第一类是使用有向无环图表 示变量间的依赖关系，称为有向圈模型或贝叶斯网 (Bayesian network); 第二类 是使用无向国表示变量间的相关关系，称为无向图模型或马尔可夫网 (Markovnetwork).

隐马尔可夫模型

隐马尔可夫模型 (Hidden Markov Model，简称 HMM)是结构最筒单的动态 贝叶斯网 (dynamic Bayesian network)，这是一种著名的有向图模型，主要用于 时序数据建模，在语音识别、自然语言处理等领域有广泛应用.

隐马尔可夫模型中的变量可分为两组.第一组是状态变量{y1，y2... yn}， 其中执 yi 表示第i时刻的系统状态.通常假定状态变量是隐 藏的、不可被观测的，因此状态变量亦称隐变量 (hidden variable). 第二组是观测变量{X1，X2，...，Xn}， 其中Xi表示第i时刻的观测值。隐马尔可夫模型中，系统通常在多个状态{s1,s2，..， sn} 之间转换，因此状态变量yi的取值范围 Y(称为状态空间)通常是有 N 个可能取值的高散空间.观测变量均可以 是离散型也可以是连续型，为便于讨论,我们仅考虑离散型观测变量，并假定其 取值范围 X 为 {o1,o2...oM}.

图 14.1 中的箭头表示了变量间的依赖关系.在任一时刻，观测变量的取值 仅依赖于状态变量，即 Xt 由 Yt 确定，与其他状态变量及观测变量的取值无关. 同时 ,t 时刻的状态yt仅依赖于 t-1 时刻的状态y(t-1)，与其余 n-2 个状态无 关.这就是所谓的"马尔可夫链" (Markovchain)，即:系统下一时刻的状态仅由当前状态决定，不依赖于以往的任何状态.基于这种依赖关系，所有变量的联合概率分布为