条件随机场(1)——原理

条件随机场是给定随机变量X条件下，随机变量Y的马尔科夫随机场。所以，首先得看马尔科夫随机场。之前看概率图模型的时候，正好看到马尔科夫随机场，知识真是相通的。在以前的总结《概率图模型学习3》中总结过马尔科夫网的基本理论知识。
下面贴出《概率图模型》中条件随机场的定义：

和《统计学习方法》中条件随机场的定义：

后者比较通俗易懂。个人理解，CRF就是给定X下的条件概率分布P(Y|X),当我们计算Y中每一个结点Yv时，只需要考虑与Yv有连接边的Y集合中的结点和X中的集合结点，因为没有边连接的结点与Yv完全是独立的。
如《统计学习方法》中的图

图1
所示，当计算a1点的条件概率时，只需要计算P(a1|X,a2,a3,b1)。

标题 ##线性链CRF

对于NLP中，马尔科夫随机场和条件随机场可以看作线性图，如图：

图2
CRF和马尔科夫随机场都是概率无向图，而实际应用中，（ CRF在NLP中经常用在词性标注、命名实体识别、分词等），通常X是可观测的变量，例如词性标注（用了hanLP中的标注例子）

[签约/v, 仪式/n, 前/f,   ，/w, 秦光荣/nr, 、/w, 李纪恒/nr, 、/w, 仇和/nr, 等/u, 一同/d, 会见/v, 了/ul, 参加/v, 签约/v,   的/uj, 企业家/n, 。/w]

前面的词表示为X，后面的标注为Y，那么，通常是Y依赖X，这样的话，可以将图2的无向图转为部分有向图：

图3
这样的线性条件随机场可以表示为
式(1)

参数化后的线性链CRF

虽然线性链CRF看起来已经比较容易理解了，但是应用到实际当中，还是很懵啊。这样冷冰冰的公式很让人摸不着头脑的。
在本人浅薄的机器学习经验理解中，学习任务都是在寻找合理的参数，训练线性链CRF（后面简称CRF）也应该是学习参数的。那么，CRF的参数化是怎样的呢？
参数化后的CRF，从式(1)转化为
式(2)
其中

是转移特征函数，表示基于观察变量（序列）X，y从t-1转移到t的转移概率，是状态特征函数，表示基于X，第i个位置变量的概率，为转移权重，为状态权重。

假定图2是一个序列标注问题，的取值为y={S,O}，假定转移特征为b(X,i)

通常转移特征会中为1的条件通常记录在特征模板当中。
转移特征函数为

那么转移特征和权重设定如下：

状态特征矩阵和权重设定如下：

那么标记序列y=(S,O,S,O,S)的概率为

Z为所有可能序列的概率和。

如前面所说，特征由特征模板给出，而权重和就是要学习的参数。至于把和统一成f（特征函数），以及把用矩阵形式表达，个人觉得只是形式而已，原理还是这样的。

---

参考资料：
《统计学习方法》
《概率图模型》
《统计自然语言处理》