【机器学习笔记十一】 条件随机场（CRF）

一、基本定义

条件随机场（CRF）是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。

概率无向图模型：又称为马尔可夫随机场，是一个可以由无向图表示的联合概率分布。

图是由结点及连接节点的边组成的集合，无向图是指边没有方向的图。

概率图模型是由图表示的概率分布。

二、三种马尔可夫性

成对马尔可夫性、 局部马尔可夫性、全局马尔可夫性

概率无向图模型的定义为，设有联合概率分布P(Y)，由无向图G = ( V , E )表示，在图G中，如果联合概率分布P(Y)满足成对、局部或全局马尔可夫性，则称此联合概率分布为概率无向图模型，或马尔可夫随机场。

概率无向图模型的因子分解：将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作。

三、HMM和CRF的比较

1、HMM是生成模型，CRF是判别模型
2、HMM是概率有向图，CRF是概率无向图
3、HMM求解过程可能是局部最优，CRF可以全局最优

四、书本例题&课后习题

1、例11.1

2、例11.2

3、课后习题11.4