统计学习方法笔记-条件随机场

一 马尔可夫随机场

定义

设有联合概率分布 P(Y)， 由无向图 G = (V, E) 表示，在图 G 中，结点表示随机变量，边表示随机变量之间的依赖关系 。 如果联合概率分布 P(Y) 满足成对、局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型或马尔可夫随机场 。

其中成对，局部，全局马尔可夫性有如下定义:

成对马尔可夫性: 设u和v是无向图中任意两个没有连接的结点，对应随机变量Y_u Y_v, 其他所有结点为O,对应一个随机变量组，则
局部马尔可夫性: v 是无向图中的任意一个结点，随机变量是Y_v 。W是与v有连接的所有结点，随机变量是Y_W。O是其余结点，随机变量为Y_O。 则

全局马尔可夫性: 设在无向图中结点集合 A,B 是被结点集合C分开的任意结点集合 (如下图所示)，其随机变量分别记为Y_A,Y_B,Y_C. 则

二 条件随机场

条件随机场定义

设 X 与 Y 是随机变量， P(YIX) 是在给定 X 的条件下 Y 的条件概率分布。若随机变量 Y 构成一个由无向图 G = (V， E) 表示的马尔可夫随机场， 即

对任意结点v成立，则称条件概率分布 P(YIX) 为条件随机场。其中w ~ v是指 w为在无向图G中与v相连的所有结点.Y _u,Y_w 是结点u,w代表的随机变量。

线性链条件随机场

这里我们主要介绍一种特殊的条件随机场，称为线性链条件随机场，其主要用于标注问题。

线性链条件随机场的结构如下:

线性链条件随机场的定义如下:

设 X = (X₁,X₂,… ,X_n ), Y = (Y₁,Y₂，…，Y_n) 均为线性链表示的随机变量序列，若在给定随机变量序列 X 的条件下，随机变量序列Y 的条件概率分布 P(YIX) 构成条件随机场， 即满足马尔可夫性
则称 P(YIX) 为线性链条件随机场。

将线性链条件随机场用于标注问题时，在条件概率模型P(Y|X) 中，Y是输出变量表示标记序列(也称状态序列)，X是输入变量，表示需要标注的观测序列。

比如我们要给一个已经分好词的句子中的每一个词标注词性， 句子如下:

小花 / 是 / 一个 / 漂亮的/ 女孩子

上述句子就是一个观测序列。而它的词性序列 名词 动词 量词 形容词 名词 就是一个标记序列。