《统计学习方法》第十一章 条件随机场

1. 条件随机场定义

1.1 定义

条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场.CRF可以用于不同的预测问题.
当用于标注问题时,使用线性链条件随机场,这时,问题变成了由输入序列对输出序列预测的判别模型,形式为对数线性模型,其学习方法通常是极大似然估计或正则化的极大似然估计.

1.2 条件随机场的三个基本问题

概率计算问题、学习问题、预测问题

2. 概率无向图模型

2.1 概率无向图模型定义

概率无向图模型(probabilistic undirected graphical model)又称马尔可夫随机场,是一个可以由无向图表示的联合概率分布.

给定一个联合概率分布P(Y)和表示它的无向图G,无向图表示的随机变量之间存在成对马尔可夫性、局部马尔可夫性和全局马尔可夫性.

2.1.1 成对马尔可夫性

2.1.2 局部马尔可夫性

2.1.3 全局马尔可夫性

注: 上述成对的、局部的、全局的马尔可夫定义是等价的(不太理解,意思是它们之间可以相互转换吗???).

2.1.4 概率无向图模型定义

2.2 概率无向图模型的因子分解

2.2.1 团与最大团定义

团: 无向图G中任何两个节点均有边连接的结点子集
最大团: 若C是无向图G的一个团,并且不能再加任何一个G的结点使其成为一个更大的团,则称C为最大团.

注:
两节点团:{Y₁,Y₂},{Y₂,Y₃},{Y₃,Y₄},{Y₄,Y₂},{Y₁,Y₃}
最大团:{Y₁,Y₂,Y₃},{Y₂,Y₃,Y₄}

2.2.2 概率无向图模型的因子分解定义

将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作,称为概率无向图模型的因子分解.

2.2.3 Hammersley-Clifford定理

概率无向图模型的联合概率分布P(Y)可以表示为如下形式:

注:

1. C是无向图的最大团,Y_c是C的结点对应的随机变量
2. ψ_c(Y_c)是C上定义的严格正函数,函数ψ_c(Y_c)称为势函数,通常定义为指数函数:
   
3. 乘积是在无向图所有的最大团上进行的.

3. 条件随机场的定义与形式

3.1 条件随机场的定义

3.1.1 线性链条件随机场定义及应用场景

3.1.2 条件随机场

3.1.3 线性链条件随机场

注: 上图中最大团是相邻两个结点的集合.

3.1.4 条件随机场的参数化形式

线性链条件随机场实例:

3.1.5 条件随机场的简化形式

3.1.6 条件随机场的矩阵形式

4. 条件随机场的概率计算问题

4.1 前向后向算法

4.2 概率计算

4.3 期望值的计算

5. 条件随机场的学习算法

5.1 改进的迭代尺度法

5.2 拟牛顿法

6. 条件随机场的预测算法