条件随机场——深入剖析逻辑斯蒂回归和最大熵模型、条件随机场，他们到底有啥关系？（二）

众所周知，条件随机场在NLP中做NER和词性标注等任务是一把好手，但是条件随机场一直是很多同学心中谜一样的存在：贝叶斯网络，隐马模型，马尔科夫网络，最大熵隐马尔可夫模型，这些概率图就是都是写什么样的关系？之前写了一篇 隐马模型的文章和一篇 主题模型的文章，感兴趣的同学可以看看。是的，你会被标题吸引住的。废话不多说啦，开始。
本文则着重是从逻辑回归讲清楚条件随机场这个东西。

线性链CRF

一般我们讨论的也是线性链的CRF，如下图：

这个图的意思是y仍然还是仅和前后有关。

现在想想，如果有这样一个图，怎么样才能合适的建模？？？
我们的目标是P(y|x)，也是一个后验概率，最终是想最大化这个后验概率，和LR是一致的。
我们看看CRF模型的形式：

怎么样，蒙了吧，脑瓜子嗡嗡的吧？看不懂没关系，我们换个写法：

注意哦，这个写法和上面是一个意思，只是形式上的区别，是不是感觉有点眼熟了，你看看那个归一化因子，看看指数函数，想起了什么吗，什么？你说还看不懂？？？
那行吧，继续简化：

现在呢？现在sigma都没有了，变成了$w^T$，还没想起上篇文章的LR吗，这个$w^T$不就是LR中的${\theta }^T$吗，这里的F(y, x)不就是LR中的x吗？只是这个变成了多元softmax，而LR中是二元的。

特征函数如何理解

考虑这样一个事实，如果我们有一个多维的向量x，x的每个维度都是一个特征，然后这条样本对应了一个label，我们要分类，是不是最简单就是logistics回归？当然要做归一化更好地梯度下降我们就不说了，不是这里的重点。那么问题就是数据并不是乖乖地排列好，x的每个维度都已经取好值等着我们分类了，所以出现了这个东西：特征函数！特征函数的名字取得很好，就是为了构造特征的一个函数，符合这个特征，取值为1，不符合，输出位0。就是这么简单，那有些同学又要问了，那这个特征函数如何取才好呢，怎么学习这个特征函数呢？很遗憾，我们现在大多数是人工来设定这个特征函数的hhh。还不够清楚？我们举个例子。
比如词性标注任务里面，可以取的特征函数就是后缀等，如后缀是ed，特征$f_1$取1，否则是0，如后缀是ing，则$f_2=$