【ML小结14】条件随机场CRF

1. 马尔科夫随机场/概率无向图模型

1.1 概率无向图模型的定义

概率无向图模型是由无向图表示的联合概率分布。无向图上的节点之间的连接关系表示了联合分布的随机变量集合之间的条件独立性，即马尔科夫性。因此，概率无向图模型也称为马尔科夫随机场。
概率无向图模型是生成式模型,生成式模型最关心的是变量的联合概率分布。

1.2 概率无向图模型的因子分解

概率无向图模型的联合概率分布可以分解成无向图最大团上的正值函数的乘积形式。

2. 条件随机场

条件随机场是隐含马尔可夫模型HMM的一种扩展，它保留了HMM的一些特性，比如状态序列是马尔科夫链。

更广义地讲，条件随机场是一种特殊的马尔科夫随机场（概率图模型）。在这个图中，每个顶点代表一个随机变量，比如$x_1、y_1$，顶点之间的弧代表他们相互的依赖关系。通常采用一种概率分布比如$P(x_1，y_1)$描述。条件随机场的最大特点是假设输出变量之间的联合概率分布构成概率无向图模型（马尔科夫随机场），即每个状态的转移概率只取决于相邻的状态。

2.1 条件随机场与隐含马尔科夫模型

2.2 条件随机场的定义

条件随机场是给定输入变量X条件下，输出随机变量Y的条件概率分布模型P(Y|X)，其形式为参数化的对数线性模型。条件随机场是判别式模型。

对数线性模型

式（11.8）解释如下：当我们计算Y中每个节点$Y_v$的条件概率分布时，只需要考虑与$Y_v$有边连接的Y集合中的节点和X中的集合节点，因为与$Y_v$没有边连接的节点与$Y_v$完全独立。

2.3 线性链条件随机场

线性链条件随机场一般表示为给定观测序列条件下的标记序列的条件概率分布，由参数化的对数线性模型表示。

线性链条件随机场的数学表达式：

3. 条件随机场的3个基本问题

3.1 概率计算问题：前向-后向算法

3.2 学习问题：极大似然估计法

给定训练数据，通过极大化训练数据的对数似然函数以估计模型参数。具体的算法有改进的迭代尺度算法、梯度下降法、拟牛顿法等。

3.3 预测问题：维特比算法

CRF的预测问题转化为求非规范化概率最大的最优路径问题。