条件随机场详细推导

条件随机场简介

1.条件随机场简介

马尔可夫随机场：设有联合概率分布P(Y)，由无向图G=(V,E)表示，在图G中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布P(Y)满足成对、局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型，或马尔可夫随机场。
条件随机场：设X和Y是随机变量，P(Y|X)是在给定X的条件下Y的条件随机分布，若随机变量Y构成一个由无向图G=(V,E)表示的马尔可夫随机场，即：

对任意结点v成立，则称条件概率分布P(Y|X)为条件随机场。
线性链条件随机场：设X=(X1,X2,…,Xn),Y=(Y1,Y2,…,Yn)均为线性链表示的随机变量序列，若在给定随机变量序列X的条件下，随机变量序列Y的条件概率分布构成条件随机场，即满足马尔可夫性

则称P(Y|X)为线性链条件随机场。
与马尔可夫随机场定义联合概率分布的方式类似，条件随机场 使用势函数和图结构上的团来定义条件概率P(y|x).给定观测序列x，线性链条件随机场主要包含两种关于标记变量的团，即单个标记变量{yi}以及相邻的标记变量{yi-1,yi}。
在条件随机场中，通过选用指数势函数并引入特征函数，条件概率被定义为

其中tk为转移特征函数，sl为状态特征函数

条件随机场举例

2.条件随机场举例

参考李航老师书中非规范化条件概率例子

条件随机场三个基本问题及推导

3.条件随机场三个基本问题及推导

条件随机场简化形式为：

条件随机场的矩阵形式：
条件随机场可以用矩阵表示。假设P(y|x)是线性链条件随机场，引入特殊的起点和终点状态标记y0=start,yn+1=stop，这时P(y|x)可以通过矩阵形式表示。
对观测序列的每一个位置i，定义一个m阶矩阵(m是标记yi取值的个数)

即矩阵中的每一个元素为yi-1,yi的非规范化概率。
则

其中

(1)条件随机场概率计算问题
条件随机场的概率计算是给定条件随机场P(Y|X)，输入序列x和输出序列y，计算条件概率P(Yi=yi|x)，P(Yi-1=yi-1,Yi=yi|x)以及相应的数学期望的问题。
采用前向和后向算法。
定义前向向量αi(x)

则

则

则

(2)学习问题
条件随机场模型实际上是定义在时序数据上的对数线性模型。学习方法包括极大似然估计和正则化的极大似然估计。具体优化实现算法有改进的迭代尺度法，梯度下降法等。李航老师书中已有IIS的推导。下面我将通过梯度下降法来做推导。
对于学习问题的推导，等我闲下来会补充上去-----------------待补充
(3)条件随机场的预测问题
CRF预测问题就是给定条件随机场P(Y|X)和输入序列x，求使得条件概率P(y|x)最大的状态序列，即对观测序列进行标注。条件随机场的预测算法采用viterbi算法。

所以，条件随机场的预测问题就是求非规范化概率最大的最优路径问题。
由

对于某一个样本的非规范化概率为

条件随机场中的viterbi算法描述的问题是，求到第i个位置的非规范化概率的最大值,进而得到其最优路径。
在第一个位置的各状态的非规范化概率为

在第二个位置的各状态的非规范化概率最大值为

则

进而得到i位置的前一个节点下标，用
即

参考文献

[1] 李航.《统计学习方法》