条件随机场(CRF)

为了引入条件随机场，我们先来了解一下数学相关的基础知识
1，随机场：随机场可以看成是一组随机变量的集合，这组随机变量对应同一个样本空间，这些随机变量可能有依赖关系，因为这样才有实际意义。
2，马尔科夫随机场(Markov Random Field, 简称MRF):又称为概率无向图模型，无向图上的每一个节点对应一个随机变量，节点之间的边表示变量间的依赖关系。从另一个角度看，马尔科夫随机场反映了先验知识，也即需要考虑哪些随机变量之间的关系，而哪些可以忽略。
3，条件随机场(Conditional Random Fields, 简称CRF)是给定一组输入随机变量的条件下，另一组输出变量的条件概率分布模型，只不过输出的随机变量可以构成马尔科夫随机场。也即输入的随机变量为观测值，而输出的变量为状态值。从另一个角度理解就是：马尔科夫随机场(当前状态值只受相邻状态值影响)+条件模型(当前状态值受观测值影响) = 条件随机场
马尔科夫随机场中的随机变量(即状态值)只受与之相连的变量(即相邻的状态值)的影响，而在条件随机场中，随机变量不仅受相邻的变量的影响，还受观测值的影响，也即相邻变量和观测值同时影响马尔科夫随机场中的随机变量。
一般常见的是线性链(Linear Chain)条件随机场，结构如下：

这里给出一个著名的图：

个人理解如下：白色圈表示的是状态值，灰色圈表示的是观测值。
第一行表示的是有向图模型，开头是朴素贝叶斯网络，经过序列化后转化为隐马尔科夫模型，再一般化为有向图模型，均是基于联合概率建模的(也即生成式模型)。而第二行经过条件化后变成了以条件模型建模(也即判别式模型)，逻辑回归经过序列化后转化为线性链条件随机场再一般化为普通的条件随机场。