线性链条件随机场与HMM在viterbi算法中的图解对比

先整理下相关概念:

条件随机场P(Y|X):
表示的是给定一组输入随机变量 X 的条件下另一组输出随机变量 Y 的马尔可夫随机场，也就是说 CRF 的特点是假设输出随机变量构成马尔可夫随机场。

什么是随机场?
官方定义:
随机场就是随机过程在空间上的推广。随机过程的基本参数是时间变量，而随机场的变量是位置向量u(x,y,z).所以随机场就是定义在一个场域参数集合上的随机变量系。对于场域内的任一点，都有随机变量与它对应。
讲人话:就是多维的随机过程.

什么是马尔科夫随机场:
马尔科夫随机场就是概率无向图模型,就是联合概率分布.
讲人话:就是多维随机变量的联合分布.

为什么引入无向图:
为了直观、便于分析,学术上,图论的东西可以用于概率,概率的东西可以用于图论,方便多学科促进.
讲人话:就是为了好看.

什么是生成式模型和判别式模型?
https://blog.csdn.net/appleyuchi/article/details/85319921

什么是线性链随机场?
李航的书P195页有定义:
$P(Y_i|X,Y_1,\cdot \cdot \cdot ,Y_{i-1},Y_{i+1},\cdot \cdot \cdot ,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$
这个判别式是什么意思呢?
也就是说:这个$Y_i$只和前一个词语$Y_{i-1}$或者后一个词语$Y_{i+1}$以及输入X相关
讲人话,举个可能不太恰当的例子哈:
“我要犒赏你们”
这里的你们如果放在一句话的开头,那么词性就是"主语"
由于上面这个桔子中的"你们"放在"犒赏后面",那么"你们"的词性就是"宾语"
所以这里的:
$Y_{i-1}$=动词
$Y_i$=宾语
上面这个例子,举得不是太合适,只是想表明一个"词性标注"的观点:
一个词语被标注为那种词性是和前后的词语是相关的.,而这种相关性也刚好和"马尔科夫性"相吻合,所以一拍即可,crf就被拿来对词语进行标注了.

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
下面是重点,linear-CRF的具体举例:
李航书上的P196的例11.1有些问题,没有提供输入的x的具体的值是什么.
刘建平的博客园也是照抄了李航书上的东西,他似乎也是没有完全搞懂.

下面我们详细讲讲这个"词性标注"的例子.

借用一张分词的图：

我们的目的:
输入一段分词后的话,
输出每个词语的词性标注.

我们先回顾下HMM,每次计算的概率这样的:
当前计算的概率·转移概率·摸到红(白)球的概率
然后获取总积累概率最大的一条路径作为"状态序列",讲人话,就是想知道,这些小球是从哪几个盒子里面摸到的.

与此对应的linear-CRF,viterbi计算最优路径问题是这样的:
$$\sum _{i=1}^{3}w\cdot F_i(y_{i-1},y_i,x)$$
那么根据上面的图,每一层发生了什么呢?
我们知道,如果是HMM,那么每一层表示:跳转到某个盒子+抽取小球
对于linear-CRF而言,每一层表示:跳转到某个盒子(词性)+抽取小球(具体的词语)
但是呢,linear-CRF计算公式换了换,例如,计算第二层时,
公式变成:
δ 2 ( l ) = m a x j { θ 1 ( j ) + w ⋅ F 2 ( j , l , x ) } \delta_2(l)=max_j\{\theta_1(j)+w·F_2(j,l,x)\} δ2​(l)=maxj​{θ1​(j)+w⋅F2​(j,l,x)}

讲得有点乱,我们来个表格对比下上面的内容:

计算过程	HMM的例子	linear-CRF的例子
算法	viterbi	viterbi
算法目标	$$P^{\ast }=ma{x}_{1\le i\le 3}{\delta }_3(i)$$	$$ma{x}_{i=1}^{3}w\cdot F_i(y_{(i-1)},y_i,x)$$
计算思路	跳转到每一层的盒子中 然后抽红白球(放回抽取)	跳转到每一层的盒子(词性)中 然后生成某个词语(放回生成)
算法输入	摸到的小球颜色序列, 例如:(红,白,红)	生成的词语序列, 例如:(我,要,去,吃,饭)
算法输出	(第三个盒子,第三个盒子,第三个盒子)	(名词,谓语,动词,动词,名词)
算法第2层, 状态为l的计算	${\delta }_2(l)={\max }_{1\le j\le 3}[{\delta }_1(j)a_{jl}]b_l(o_2)$	${\delta }_2(l)$= m a x j { δ 1 ( j ) + w F 2 ( j , l , x ) } max_j\{\delta_1(j)+wF_2(j,l,x)\} maxj​{δ1​(j)+wF2​(j,l,x)}
上图中的圆圈含义	每个圆圈代表放小球的盒子 每个盒子中都有不同颜色的小球	每个圆圈代表不同的词性 每个词性都可以依据概率生成不同的词语

其他参考链接:
https://www.cnblogs.com/Determined22/p/6915730.html
https://zhuanlan.zhihu.com/p/28343520