七、条件随机场

1. 条件随机场的定义

条件随机场（CRF）是给定一组输入条件变量条件下另一组输出变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。
马尔可夫随机场又称概率无向图模型：联合概率分布P(Y)用无向图表示，图的节点表示随机变量，边表示随机变量之间的依赖关系。如果这个联合概率分布满足成对、局部或全局马尔可夫性，就称次联合概率分布为概率无向图模型，或者马尔可夫场

2. EM算法、HMM、CRF的比较

1. EM算法是用于含有隐变量模型的极大似然估计或者极大后验估计，有两步组成：E步，求期望（expectation）；M步，求极大（maxmization）。本质上EM算法还是一个迭代算法，通过不断用上一代参数对隐变量的估计来对当前参数进行计算，直到收敛。（先用第i次迭代的参数theta来计算隐变量的期望，然后求得时这个期望极大化的参数theta）
   注意：EM算法是对初值敏感的，而且EM是不断求解下界的极大化逼近求解对数似然函数的极大化的算法，也就是说EM算法不能保证找到全局最优值。

2. 隐马尔可夫模型是用于标注问题的生成模型。有几个参数（π，A，B）：初始状态概率向量π，状态转移矩阵A，观测概率矩阵B。称为马尔科夫模型的三要素。马尔科夫三个基本问题：

• 概率计算问题：给定模型和观测序列，计算模型下观测序列输出的概率。–》前向后向算法
• 学习问题：已知观测序列，估计模型参数，即用极大似然估计来估计参数。–》Baum-Welch(也就是EM算法)和极大似然估计。
• 预测问题：已知模型和观测序列，求解对应的状态序列。–》近似算法（贪心算法）和维比特算法（动态规划求最优路径）

3. 条件随机场CRF，给定一组输入随机变量的条件下另一组输出随机变量的条件概率分布。条件随机场假设输出变量构成马尔科夫随机场，而我们平时看到的大多是线性链条随机场，也就是由输入对输出进行预测的判别模型。求解方法为极大似然估计或正则化的极大似然估计。

4. 之所以总把HMM和CRF进行比较，主要是因为CRF和HMM都利用了图的知识，但是CRF利用的是马尔科夫随机场（无向图），而HMM的基础是贝叶斯网络（有向图）。而且CRF也有：概率计算问题、学习问题和预测问题。大致计算方法和HMM类似，只不过不需要EM算法进行学习问题。

5. HMM和CRF对比其根本还是在于基本的理念不同，一个是生成模型，一个是判别模型，这也就导致了求解方式的不同。