条件随机场

概率无向图模型，又称为马尔科夫随机场，是一个可以由无向图表示的联合概率分布。

首先介绍概率图模型。概率图模型是由图表示的概率分布。一个图G 由边集合与节点集合构成，可写作 ，其中 V 代表节点集合，E 代表边集合。假设存在着一组随机变量  ，且这组随机变量能够得到一个联合分布 ，如果能够存在着一张图 G，G中的每个节点分别代表着每个随机变量 ，而边  代表着随机变量之间的概率依赖关系，那么称该模型为概率图模型。

是一个可以由无向图表示的联合概率分布，其中用图的节点(node) 表示随机变量，用边(edge) 表示随机变量之间的概率依赖关系。无向图中随机变量之间存在以下三种关系（三者等价）：

成对马尔可夫性
局部马尔科夫性
全局马尔科夫性

团、最大团

若在无向图 G 中，若存在着一个节点子集 A，对于 A 中任意两个节点在 G 中均有边连接，那么这个节点子集 A 称为一个团（clique）。能够取得的最多节点个数的团则称为最大团。

条件随机场
条件随机场是给定输入随机变量X条件下，输出随机变量Y的条件概率分布模型，其形式为参数化的对数线性模型。条件随机场的最大特点是假设输出变量之间的联合概率分布构成概率无向图模型，即马尔可夫随机场。条件随机场（或概率无向图模型）的联合概率分布可以分解为 无向图最大团上的正值函数的乘积 的形式。

条件随机场是判别模型。

线性链条件随机场：定义在观测序列与标记序列上的条件随机场。表达式为：

 

条件随机场的三个问题
（同第十章隐形马尔可夫模型的三个问题）

1.概率计算问题
是给定条件随机场 P(Y|X),输入序列x 和输出序列 y ，计算条件概率 P(Yi=yi|x), P(Yi-1=yi-1，Yi=yi|x) 以及相应的数学期望的问题。

主要也是 前向——后向算法

2.学习算法
给定训练数据集估计条件随机场模型参数的问题。

主要包括：极大似然估计，正则化的极大似然估计，具体的优化算法有改进的迭代尺度法 IIS ，梯度下降法以及拟牛顿法。

3.预测算法
给定条件随机场 P(Y|X) 和输入序列（观测序列）x,求条件概率最大的输出序列（标记序列）y ，这也是其重要应用——标注问题。

主要方法有：维特比算法

总感觉线性链条件随机场与隐马尔科夫模型有着许多联系。但是条件随机场的状态函数的定义十分灵活，这就使其解决的问题更加的广泛，可以说是隐马尔科夫模型能解决的问题条件随机场都能解决，反之却不一定正确。具体的，也不是太清楚个人。