一文读懂NLP之条件随机场算法详解

0 前言

​ 条件随机场（conditional random field，CRF）是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场。本文主要讨论它在标注问题上的应用，因此主要讲线性链（linear chain）条件随机场，这时问题变成了由输入序列对输出序列预测的判别模型，形式为对数线性模型，学习模型参数的方法通常是极大似然估计或者正则化的极大似然估计。

​ 本文参考李航老师的《统计学习方法》,加上自己的理解。

1 马尔科夫随机场

​ 概率无向图模型（probabilistic undirected graphical model），又称为马尔科夫随机场（Markov random field），是一个可以由无向图表示的联合概率分布。

1.1 概率图模型的定义

​ 图是由节点及连接节点的边组成的集合。节点和边分别记作$v$和$e$，节点和边的集合分别记作$V$和$E$，图记作$G=(V,E)$。无向图是指边没有方向的图，有向图是指边有方向的图。

概率图模型是用图来表示概率分布，设有联合概率分布$P(\mathbf{Y})$，$\mathbf{Y}$是一组随机变量。用图$G=(V,E)$来表示概率分布$P(\mathbf{Y})$。在图$G$中，节点$v \in V $表示一个随机变量$Y_v$，则$\boldsymbol{Y}=(Y_v)_{v \in V}$；边$e \in E$表示随机变量之间的概率依赖关系。常用的概率图模型分为两类：

• 有向图：贝叶斯网络。信念网络
• 无向图：马尔科夫随机场、马尔科夫网络

概率图模型是一门很深的学问，在大学里面也是专门的一门课来讲。这篇文章仅仅是代表我自己的认知，也仅仅限于标注模型。

现在已经用图来表示概率分布，那怎么根据图来计算概率分布呢？

1. 概率有向图模型的联合概率：

   概率有向图模型的联合概率一般按照如下所示的公式求解：

   $$P(X_1,X_2,...,X_N)=\prod _{i=1}^{N}P(X_i|\pi (X_i))$$
   其中， $\pi (X_i)$是$X_i$的所有父节点，按理说应该是$P(\mathbf{Y})$来表示概率，但是画图时用的是$X$，这是一个小错误。
   
   由图可得：
   $$P(X_1,X_2,...,X_5)=P(X_1)P(X_2|X_1)P(X_3|X_2)P(X_4|X_2)P(X_5|X_3,X_4)$$

2. 概率无向图模型的联合概率：

   无向图一般就指的是马尔科夫网路，无向图的无向性导致不能用条件概率参数化表示联合概率，而是需要从一组条件独立的原则中找出一系列局部函数的乘积来表示联合概率。

如果无向图是一个很大的图，可以使用因子分解将$P(\mathbf{X})$写成若干个联合概率的乘积，所以问题来了，怎么分解呢？将图分解为若干个“小团”，注意每一个团必须是最大团（定义在后面介绍），用$Q\in C$表示，$C$是最大团的集合。下面给出$P(\mathbf{X})$的公式，也叫因子分解式:
$$P(\mathbf{X})=\frac{1}{Z}\prod _{Q\in C}{\psi }_Q({\mathbf{x}}_Q)$$
其中，$Z=\sum _{\mathbf{x}}\prod _{Q\in C}{\psi }_Q({\mathbf{x}}_{\mathbf{Q}})$为规范化因子，是为了保证概率之和为1，类似于softmax。因为在计算上式时并不是按照概率来计算的，而是定义了特征函数(见后文)，数值代表不了概率。在实际应用中，精确计算$Z$是很困难的，但许多任务往往并不需要获得$Z$的精确值。${\psi }_Q({\mathbf{x}}_{\mathbf{Q}})$是一个最大团$Q$所包含的所有随机变量的联合概率，也称作势函数，这个函数必须是非负实数函数，一般取指数函数：
ψ Q ( x Q ) = exp ⁡ { − E ( Y Q ) } \psi_Q(\boldsymbol{x}_Q)=\exp\{-E(Y_Q)\} ψQ​(xQ​)=exp{−E(YQ​)}

1.2 马尔科夫随机场

先给一个简单的马尔科夫随机场。

1. 团的定义：

   对于图中节点的一个子集，若任意子集中任意两个节点间都有边连接，则称该节点子集为一个“团”（clique）。若在一个团中加入任何一个节点都不再形成团，则称这个团为“最大团”。最小的最大团只有两个节点，如上图中的 { x 2 , x 4 } \{x_2,x_4\} {x2​,x4​}。

   团： { x 1 , x 2 } , { x 1 , x 3 } , { x 2 , x 4 } , { x 2 , x 5 } , { x 2 , x 6 } , { x 3 , x 5 } , { x 5 , x 6 } , { x 2 , x 5 , x 6 } \{x_1,x_2\},\{x_1,x_3\},\{x_2,x_4\},\{x_2,x_5\},\{x_2,x_6\},\{x_3,x_5\},\{x_5,x_6\},\{x_2,x_5,x_6\} {x1​,x2​},{x1​,x3​},{x2​,x4​},{x2​,x5​},{x2​,x6​},{x3​,x5​},{x5​,x6​},{x2​,x5​,x6​}

   最大团： { x 1 , x 2 } , { x 1 , x 3 } , { x 2 , x 4 } , { x 3 , x 5 } , { x 2 , x 5 , x 6 } \{x_1,x_2\},\{x_1,x_3\},\{x_2,x_4\},\{x_3,x_5\},\{x_2,x_5,x_6\} {x1​,x2​},{x1​,x3​},{x2​,x4​},{x3​,x5​},{x2​,x5​,x6​}

按照上述的公式求解概率，只需用到最大团。原因：若$Q$不是最大团，则它一定会被一个另一个最大团$Q^{\ast }$完全包含，即$Q\in Q^{\ast }$，这意味着$Q$包含的变量之间的关系不仅体现在势函数${\psi }_Q$中，还体现在${\psi }_{Q^{\ast }}$中，这样就乱套了，所以联合概率必须使用最大团来定义。

上述这个图的联合概率为：
$$P(\mathbf{X})=\frac{1}{Z}{\psi }_{12}(x_1,x_2){\psi }_{13}(x_1,x_3){\psi }_{24}(x_2,x_4){\psi }_{35}(x_3,x_5){\psi }_{256}(x_2,x_5,x_6)$$
其中，${\psi }_{256}(x_2,x_5,x_6)$定义在最大团 { x 2 , x 5 , x 6 } \{x_2,x_5,x_6\} {x2​,x5​,x6​}上，由于它的存在不需要为团 { x 2 , x 5 } , { x 2 , x 6 } , { x 5 , x 6 } \{x_2,x_5\},\{x_2,x_6\},\{x_5,x_6\} {x2​,x5​},{x2​,x6​},{x5​,x6​}构建势函数。

​ 在马尔科夫随机场中，还需要得到“条件独立性”，即马尔科夫性，同样借助分离的概念。马尔科夫性是保证或者判断概率图是否为概率无向图的条件，一共三点内容：

• 全局马尔科夫性

• 局部马尔科夫性

• 成对马尔科夫性

  注：这个只作为判断一个概率图是不是马尔科夫随机场，可以不用重点关注。

2. 全局马尔科夫性：

   分离集的定义：若从节点集A的节点到B中的节点都必须经过节点集C中的节点，则称节点集A和B被节点集C分离，C成为分离集。

   

   全局马尔科夫性：给定两个变量子集的分离集，则这两个变量子集条件独立。记作：
   $$P(x_A,x_B|x_C)=P(x_A|x_C)P(x_B|x_C)$$
   相关证明可以查看《机器学习_周志华》

3. 局部马尔科夫性：

   给定某变量的邻接变量，则该变量条件独立于其他变量，设$W$是与v有边连接的所有节点集合，$O$是$v$，$W$以外的其他所有节点集合，则：
   $$P(X_V,X_O|X_W)=P(X_V|X_W)P(X_O|X_W)$$
   若$P(X_O|X_W)>0$，则有：
   $$P(X_V|X_W)=P(X_V|X_W,X_O)$$

4. 成对马尔科夫性：

   设$u$和$v$是无向图中的任意两个没有边连接的节点，其他所有节点集合为$O$，成对马尔科夫性是指给定随机变量组$X_O$的条件下随机变量$X_u$和$X_v$是条件独立的，即：
   $$P(X_u,X-v|X_O)=P(X_u|X_O)P(X_v|X_O)$$

针对上述的定义，现在给出概率无向图模型的定义：

​ 设有联合概率分布$P(\mathbf{X})$，由无向图$G=(V,E)$表示，在途中，节点表示随机变量，边表示随机变量之间的依赖关系。如果连个概率分布满足成对、局部和全局马尔科夫性，就称此联合概率分布为概率无向图模型，或马尔科夫随机场。

2 条件随机场

​ 条件随机场是给定随机变量$\mathbf{X}$条件下，随机变量$\mathbf{Y}$的马尔科夫随机场。这里主要介绍定义在线性链上的特殊的条件随机场，成为线性链条件随机场。注意条件随机场是判别模型，是对条件概率$P(\mathbf{Y}|\mathbf{X})$进行建模。线性链条件随机场可以用于标注问题，这时，在条件概率模型$P(\mathbf{Y}|\mathbf{X})$中，$\mathbf{Y}$是输出变量，表示标记序列，也可以称为状态序列，$\mathbf{X}$是输入变量，表示需要标注的观测序列。在学习模型参数时，利用训练数据及通过极大似然估计或正则化的极大似然估计得到条件概率模型$\hat{P}(\mathbf{Y}|\mathbf{X})$；预测时，对于给定的输入序列$\mathbf{x}$，求出条件概率$\hat{P}(\mathbf{y}|\mathbf{x})$最大的输出序列$\hat{\mathbf{y}}$。

2.1 条件随机场的定义

​ 定义：设$\mathbf{X}$与$\mathbf{Y}$是随机变量，$P(\mathbf{Y}|\mathbf{X})$是在给定$\mathbf{X}$的条件下$\mathbf{Y}$的条件概率分布，若随机变量$\mathbf{Y}$构成了一个由无向图$G=(V,E)$表示的马尔科夫随机场，即
$$P(Y_v|X,Y_w,w\ne v)=P(Y_v|X,Y_w,w\sim v)$$
对任意节点$v$成立，则称条件概率分布$P(\mathbf{Y}|\mathbf{X})$为条件随机场，其中$w\ne v$表示节点$v$以外的所有节点，$w\sim v$表示在图中与节点$v$有边连接的所有节点$w$，$Y_w,Y_v,Y_u$是与节点对应的随机变量。

​ 在定义中并没有要求$\mathbf{X}$与$\mathbf{Y}$具有想听的结构，现实中，一般假设$\mathbf{X}$与$\mathbf{Y}$有$相同的图结构$，本文也只考虑无向图为下图所示的线性链的情况，用符号表示为：
G = ( V = { 1 , 2 , 3 , . . . , n } , E = { ( i , i + 1 ) } ) G=(V=\{1,2,3,...,n\},\quad E=\{(i,i+1)\}) G=(V={1,2,3,...,n},E={(i,i+1)})

​ 在此情况下，最大团集合就是两个相邻的节点的集合。

线性链条件随机场的定义：设$\mathbf{X}=(X_1,X_2,X_3,...,X_n),\mathbf{Y}=(Y_1,Y_2,Y_3,...,Y_n)$均为线性链表示的随机变量序列，若在给定随机变量序列$\mathbf{X}$的条件下，随机变量序列$\mathbf{Y}$的条件概率分布$P(\mathbf{Y}|\mathbf{X})$构成条件随机场，即满足马尔科夫性：
$$P(Y_i|\mathbf{X},Y_1,Y_2,..,Y_{i-1},Y_{i+1},...,Y_n)=P(Y_i|\mathbf{X},Y_{i-1},Y_{i+1})$$
则称$P(\mathbf{Y}|\mathbf{X})$为线性链条件随机场，可以看出，$Y_i$只与观测序列当前值和前后状态相关。在标注问题中，$\mathbf{Y}$是输出变量，表示标记序列，也可以称为状态序列，$\mathbf{X}$是输入变量，表示需要标注的观测序列。

​ 这里引用博文随机场中的一个例子：

随机场包含两个要素：位置（site），相空间（phase space）。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方。“位置”好比是一亩亩农田； “相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。
好了，明白了上面两点，就可以讲马尔可夫随机场了。还是拿种地打比方，如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关，那么这些地里种的庄稼的集合，就是一个马尔可夫随机场。
马尔可夫随机场，描述了具有某种特性的集合。拿种地打比方，如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关，那么这些地里种的庄稼的集合，就是一个马尔可夫随机场。

2.2 条件随机场的参数化形式

​ 根据前面介绍的概率无向图模型的因子分解式，线性链条件随机场的各因子是定义在相邻两个节点上的函数。设$P(\mathbf{Y}|\mathbf{X})$为线性链条件随机场，则在随机变量$\mathbf{X}$取值为$x$的条件下，随机变量$\mathbf{Y}$取值为$y$的条件概率具有如下形式：
$$\begin{array}{rl}P(y|x)& =\frac{1}{Z(x)}\prod _Q{\psi }_Q(x,y)\\ & =\frac{1}{Z(x)}\exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))\end{array}$$
其中，
$$Z(x)=\sum _y\exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))$$
$t_k$和$s_l$是特征函数，${\lambda }_k$和${\mu }_l$是对应的权值，$Z(x)$是规范化因子，求和是在所有可能的输出序列上进行的。

推导过程（一定要看下面的过程，可以帮助你很好理解）：

上文介绍的概率无向图模型只有$X$一种随机变量，现在图中有$X,Y$两种随机变量，所以$P(X)=\frac{1}{Z}\prod _Q{\psi }_Q(X_Q)$变成：
$$\begin{array}{rl}P(X,Y)& =\frac{1}{Z}\prod _Q{\psi }_Q(X_Q,Y_Q)\\ & =\frac{\prod _Q{\psi }_Q(X_Q,Y_Q)}{\sum _{X,Y}\prod _Q{\psi }_Q(X_Q,Y_Q)}\\ 则：& \\ P(x,y)& =\frac{\prod _Q{\psi }_Q(x_Q,y_Q)}{\sum _{x,y}\prod _Q{\psi }_Q(x_Q,y_Q)}\end{array}$$

令$Z(x)=\sum _y\prod _Q{\psi }_Q(x_Q,y_Q)$，在归一化的时候，只需对每种$x$求一个归一化因子
$$P(y|x)=\frac{1}{Z(x)}\prod _Q{\psi }_Q(x_Q,y_Q)$$
根据线性链条件随机场的定义，对于每一个因子，有两种情况：

1. 因子处于两个输出序列上，和当前位置的观测，以及前一个状态有关，还要对每一个对应的特征求连积${\psi }_Q(x_Q,y_Q)={\psi }_Q(y_{i-1},y_i,x,i)=\exp ({\lambda }_1{t}_1(y_{i-1},y_i,x,i))\exp ({\lambda }_2{t}_2(y_{i-1},y_i,x,i))\cdot \cdot \cdot \exp ({\lambda }_k{t}_k(y_{i-1},y_i,x,i))=\exp (\sum _k{\lambda }_k{t}_k(y_{i-1},y_i,x,i))$

2. 因子处于观测序列和输出序列之间，和当前位置的观测有关，还要对每一个对应的特征求连积${\psi }_Q(x_Q,y_Q)={\psi }_Q(y_i,x,i)=\exp ({\mu }_1{s}_1(y_i,x,i))\exp ({\mu }_2{s}_2(y_i,x,i))\cdot \cdot \cdot \exp ({\mu }_l{s}_l(y_i,x,i))=\exp (\sum _l{\mu }_l{s}_l((y_i,x,i))$

则：${\psi }_Q(x_Q,y_Q)=\exp (\sum _k{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _l{\mu }_l{s}_l((y_i,x,i))$

对每一个因子求连积，即对每一个位置$i$求乘积，对指数来说是求和：
$$\begin{array}{rl}P(y|x)& =\frac{1}{Z(x)}\prod _Q{\psi }_Q(x_Q,y_Q)\\ & =\frac{1}{Z(x)}\exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))\\ & =\frac{\exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))}{\sum _y\exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))}\end{array}$$
定义特征的原因：根据最大熵原则，希望找到一个符合所有边缘分布，同时使得熵达到最大的模型，这个模型就是指数函数，每一个边缘分布对应指数模型中的一个特征。最大熵会在后序博文给出。

• $t_k$是定义在边上的特征函数，称为转移特征，依赖于当前位置和前一个位置，是人为定义的特征；
• $s_l$是定义在边上的特征函数，称为状态特征，依赖于当前位置，是人为定义的特征；
• $t_k,s_l$是都依赖于位置，是局部特征函数，通常取值为1或0；
• 条件随机场完全由特征函数$t_k,s_l$和对应的权值${\lambda }_k$，${\mu }_l$确定。

2.3 条件随机场的例子

​ 设有一标注问题：输入观测序列为$\mathbf{X}=(X_1,X_2,X_3)$，输出标记序列为$\mathbf{Y}=(Y_1,Y_2,Y_3)$，$Y_1,Y_2,Y_3$取值空间为 { 1 , 2 } \{1,2\} {1,2}。假设特征函数$t_k,s_l$和对应的权值${\lambda }_k$，${\mu }_l$如下：
$$t_1=t_1(y_{i-1}=1,y_i=2,x,i),i=2,3,{\lambda }_1=1$$
这表示当当前位置$y$取值为2，上一位置为1，则特征函数$t$取值为1，取值为0的条件省略，即：
$$t_1(y_{i-1}=1,y_i=2,x,i)=\{\begin{array}{ll}1,& y_{i-1}=1,y_i=2,x,i,(i=2,3)\\ 0,& 其他\end{array}$$

一共有5个特征函数$t$，4个特征函数$s$。

对给定的观测序列$x$，求标记序列为$y=(y_1,y_2,y_3)=(1,2,2)$的非规范化条件概率，也就是没有除以规范化因子的条件概率，即:

$\exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))$

解：

​ 根据因子分解式：
$$\begin{array}{rl}P(y|x)& \propto \exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))\\ & \propto \exp [\sum _{k=1}^5{\lambda }_k\sum _{i=2}^3{t}_k(y_{i-1,y_i,x,i})+\sum _{l=1}^4{\mu }_l\sum _{i=1}^3{s}_l(y_i,x,i)]\end{array}$$
计算过程：

当$k=1$时：
$$\begin{array}{rl}\sum _{i=2}^3{t}_1(y_{i-1,y_i,x,i})& =t_1(y_1=1,y_2=2,x,i=2)+t_1(y_2=2,y_3=2,x,i=3)\\ & =1+0=1\end{array}$$
当$k=2$时：
$$\begin{array}{rl}\sum _{i=2}^3{t}_2(y_{i-1,y_i,x,i})& =t_2(y_1=1,y_2=2,x,i=2)+t_2(y_2=2,y_3=2,x,i=3)\\ & =0+0=0\end{array}$$
当$k=3$时：
$$\begin{array}{rl}\sum _{i=2}^3{t}_3(y_{i-1,y_i,x,i})& =t_3(y_1=1,y_2=2,x,i=2)+t_3(y_2=2,y_3=2,x,i=3)\\ & =0+0=0\end{array}$$
当$k=4$时：
$$\begin{array}{rl}\sum _{i=2}^3{t}_4(y_{i-1,y_i,x,i})& =t_4(y_1=1,y_2=2,x,i=2)+t_4(y_2=2,y_3=2,x,i=3)\\ & =0+0=0\end{array}$$
当$k=5$时：
$$\begin{array}{rl}\sum _{i=2}^3{t}_5(y_{i-1,y_i,x,i})& =t_5(y_1=1,y_2=2,x,i=2)+t_5(y_2=2,y_3=2,x,i=3)\\ & =0+1=1\end{array}$$
所以：
$$\begin{array}{rl}\sum _{k=1}^5{\lambda }_k\sum _{i=2}^3{t}_k(y_{i-1,y_i,x,i})& ={\lambda }_1\sum _{i=2}^3{t}_1(y_{i-1,y_i,x,i})+{\lambda }_5\sum _{i=2}^3{t}_5(y_{i-1,y_i,x,i})\\ & =1\times 1+0.2\times 1\\ & =1.2\end{array}$$
同理：

当$l=1$时：
$$\begin{array}{rl}\sum _{i=1}^3{s}_l(y_i,x,i)& =s_1(y_1=1,x,i=1)+s_1(y_2=2,x,i=2)+s_1(y_3=2,x,i=3)\\ & =1+0+0\\ & =1\end{array}$$
当$l=2$时：
$$\begin{array}{rl}\sum _{i=1}^3{s}_l(y_i,x,i)& =s_2(y_1=1,x,i=1)+s_2(y_2=2,x,i=2)+s_2(y_3=2,x,i=3)\\ & =0+1+0\\ & =1\end{array}$$
当$l=3$时：
$$\begin{array}{rl}\sum _{i=1}^3{s}_l(y_i,x,i)& =s_3(y_1=1,x,i=1)+s_3(y_2=2,x,i=2)+s_3(y_3=2,x,i=3)\\ & =0+0+0\\ & =0\end{array}$$
当$l=4$时：
$$\begin{array}{rl}\sum _{i=1}^3{s}_l(y_i,x,i)& =s_4(y_1=1,x,i=1)+s_4(y_2=2,x,i=2)+s_4(y_3=2,x,i=3)\\ & =0+0+1\\ & =1\end{array}$$
所以：
$$\begin{array}{rl}\sum _{l=1}^4{\mu }_l\sum _{i=1}^3{s}_l(y_i,x,i)& ={\mu }_1{s}_1+{\mu }_2{s}_2+{\mu }_4{s}_4\\ & =1\times 1+0.5\times 1+0.5\times 1\\ & =2\end{array}$$
故：
$$\begin{array}{rl}P(y|x)& \propto \exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))\\ & \propto \exp [\sum _{k=1}^5{\lambda }_k\sum _{i=2}^3{t}_k(y_{i-1,y_i,x,i})+\sum _{l=1}^4{\mu }_l\sum _{i=1}^3{s}_l(y_i,x,i)]\\ & \propto \exp (1.2+2)=\exp (3.2)\end{array}$$

2.4 条件随机场的简化形式

​ 条件随机场还可以由简化形式表示.注意到条件随机场因子分解式中，同一特征在各个位置都有定义，可以对同一个特征在各个位置求和，将局部特征函数转化为一个全局特征函数，这样就可以将条件随机场写成权值向量和特征向量的内积形式，即条件随机场的简化形式。

​ 为简便起见，首先将转移特征和状态特征及其权值用统一的符号表示，设有$K_1$个转移特征，$K_2$个状态特征，$K＝K_1＋K_2$，记
$$f_k(y_{i-1},y_i,x,i)=\{\begin{array}{ll}{t}_k(y_{i_1},y_i,x,i),& k=1,2,..,K_1\\ s_l(y_i,x,i),& k=K_1+l;l=1,2,...,K_2\end{array}$$
然后，对转移与状态特征在各个位置$i$求和，记作：
$$f_k(y,x)=\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i),k=1,2,...,K$$
用$w_k$表示特征$f_k(y,x)$的权值，即：
$$w_k=\{\begin{array}{ll}{\lambda }_k,& k=1,2,...,K_1\\ {\mu }_l,& k=K1+l;l=1,2,...,K_2\end{array}$$
于是，条件随机场就可以表示成：
$$\begin{array}{rl}P(y|x)& =\frac{1}{Z(x)}\exp \sum _{k=1}^K{w}_k{f}_k(y,x)\\ Z(x)& =\sum _y\exp \sum _{k=1}^K{w}_k{f}_k(y,x)\end{array}$$
若以$\mathbf{w}$表示权值向量，即$\mathbf{w}=(w_1,w_2,...,w_k{)}^T$，以$F(\mathbf{y},\mathbf{x})$来表示全局特征向量，即$F(\mathbf{y},\mathbf{x})=(f_1(\mathbf{y},\mathbf{x}),f_2(\mathbf{y},\mathbf{x}),...,f_k(\mathbf{y},\mathbf{x}){)}^T$

则条件随机场可以写成向量$\mathbf{w}$与$F(\mathbf{y},\mathbf{x})$的内积的形式：
$$\begin{array}{rl}P(y|x)& =\frac{1}{Z(x)}\exp (\mathbf{w}\cdot F(\mathbf{y},\mathbf{x}))\\ Z(x)& =\sum _y\exp (\mathbf{w}\cdot F(\mathbf{y},\mathbf{x}))\end{array}$$

符号“$\cdot$”点积表示对应元素相乘后再相加。

2.5 条件随机场的矩阵形式

​ 条件随机场还可以用矩阵来表示，假设$P_w(\mathbf{y}|\mathbf{x})$是由
$$\begin{array}{rl}P(y|x)& =\frac{1}{Z(x)}\exp \sum _{k=1}^K{w}_k{f}_k(y,x)\\ Z(x)& =\sum _y\exp \sum _{k=1}^K{w}_k{f}_k(y,x)\end{array}$$
给出的线性链条件随机场，表示对给定观测序列$\mathbf{x}$，相应的标记序列$\mathbf{y}$的条件概率。引进特殊的起点和终点状态标记$y_0=start,y_{n+1}=stop$，这时$P_w(\mathbf{y}|\mathbf{x})$可以通过矩阵形式表示。

​ 对观测序列$\mathbf{x}$的每一个位置$i=1,2,...,n+1$，定义一个$m$阶矩阵（$m$是标记$\mathbf{y}$的取值的个数）：

$$\begin{array}{rl}{M}_i(x)& =[M_i(y_{i-1},y_i|x)]\\ M_i(y_{i-1},y_i|x)& =\exp (W_i((y_{i-1},y_i|x))\\ W_i((y_{i-1},y_i|x)& =\sum _{i=1}^K{w}_k{f}_k(y_{i-1},y_i|x)\end{array}$$
​ 这样，给定观测序列$\mathbf{x}$，标记序列$\mathbf{y}$的非规范化概率可以通过$n+1$个矩阵的乘积$\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$表示，每一次乘就代表了一次状态转移，于是，条件概率$P_w(\mathbf{y}|\mathbf{x})$是：
$$P_w(\mathbf{y}|\mathbf{x})=\frac{1}{Z_w(x)}\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$$
其中，$Z_w(x)$是规范化因子，是$n+1$个矩阵的乘积的(start,stop)元素：
$$Z_w(x)=(M_1(x)M_2(x)...M_{n+1}(x){)}_{start,atop}$$
注意，$y_0=start$与$y_{n+1}=stop$表示开始状态与终止状态，规范化因子$Z_w(x)$是以start为起点stop为终点通过状态的所有路径$y_1{y}_2...y_n$的非规范化概率$\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$之和。下面举个例子来说明。

例：给定一个由下图所示的线性链条件随机场，观测序列$\mathbf{x}$，标记序列$\mathbf{y}$，$i=1,2,3,n=3$，标记 y i ∈ { 1 , 2 } y_i\in\{1,2\} yi​∈{1,2}，假设$y_0=start=1,y_4=stop=1$，各个位置的随机矩阵为$M_1(x),M_2(x),M_3(x),M_4(x)$分别是：
$$M_1(x)=\left[\begin{array}{cc}{a}_{01}& a_{02}\\ 0& 0\end{array}\right],M_2(x)=\left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right],M_3(x)=\left[\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\end{array}\right],M_4(x)=\left[\begin{array}{cc}1& 0\\ 1& 0\end{array}\right]$$
试求状态序列$\mathbf{y}$以start为起点stop为终点所有路径的非规范化概率及规范化因子。

解：

从start到stop一共有8条路径：
$$(1,1,1),(1,1,2),(1,2,1),(1,2,2),(2,1,1),(2,1,2)(2,2,1),(2,2,2)$$
分别对应的非规范化概率为：
$$\begin{gathered} a_{01}{b}_{11}{c}_{11},a_{01}{b}_{11}{c}_{12},a_{01}{b}_{12}{c}_{21},a_{01}{b}_{12}{c}_{22} \\ {a}_{02}{b}_{21}{c}_{11},a_{02}{b}_{21}{c}_{12},a_{02}{b}_{22}{c}_{21},a_{02}{b}_{22}{c}_{12} \end{gathered}$$
根据规范化因子公式求解：
$$\begin{array}{rl}{Z}_w(x)& =(M_1(x)M_2(x)...M_{n+1}(x){)}_{start,atop}\\ & =M_1(x)M_2(x)M_3(x)M_4(x)\\ & =\left[\begin{array}{cc}{a}_{01}{b}_{11}+a_{02}{b}_{21}& a_{01}{b}_{12}+a_{02}{b}_{22}\\ 0& 0\end{array}\right]M_3(x)M_4(x)\\ & =\left[\begin{array}{cc}{a}_{01}{b}_{11}{c}_{11}+a_{02}{b}_{21}{c}_{11}+a_{01}{b}_{12}{c}_{21}+a_{02}{b}_{22}{c}_{21}& a_{01}{b}_{11}{c}_{12}+a_{02}{b}_{21}{c}_{12}+a_{01}{b}_{12}{c}_{22}+a_{02}{b}_{22}{c}_{22}\\ 0& 0\end{array}\right]\left[\begin{array}{cc}1& 0\\ 1& 0\end{array}\right]\\ & =\left[\begin{array}{cc}{a}_{01}{b}_{11}{c}_{11}+a_{02}{b}_{21}{c}_{11}+a_{01}{b}_{12}{c}_{21}+a_{02}{b}_{22}{c}_{21}+a_{01}{b}_{11}{c}_{12}+a_{02}{b}_{21}{c}_{12}+a_{01}{b}_{12}{c}_{22}+a_{02}{b}_{22}{c}_{22}& 0\\ 0& 0\end{array}\right]\end{array}$$
其第一行第一列的元素为
$$a_{01}{b}_{11}{c}_{11}+a_{02}{b}_{21}{c}_{11}+a_{01}{b}_{12}{c}_{21}+a_{02}{b}_{22}{c}_{21}+a_{01}{b}_{11}{c}_{12}+a_{02}{b}_{21}{c}_{12}+a_{01}{b}_{12}{c}_{22}+a_{02}{b}_{22}{c}_{22}$$
恰好是从start到stop的所有路径的非规范概率之和，即$Z(x)$。从这个例子可以看出，要计算$Z(x)$需要考虑到所有可能的路径，当序列长度增加，状态数量增加，计算很困难。

2.5 条件随机场的三个问题

类似HMM模型，条件随机场也有三个问题

• 概率计算问题
• 学习问题
• 预测问题

3 条件随机场的概率计算问题

​ 条件随机场的概率计算问题是给定条件随机场$P(Y|X)$，输入序列$\mathbf{x}$和输出序列$\mathbf{y}$，计算条件概率$P(Y_i=y_i|x),P(Y_{i-1}=y_{i-1},Y_i=y_i|x)$以及相应的数学期望的问题。为了方便起见，像HMM模型那样，引进前向-后向向量，递归的计算以上概率及期望值，这个算法被称作前向-后向算法。这里的前向-后向算法和HMM模型很像，具体参考一文读懂NLP之隐马尔科夫模型。

3.1 前向-后向算法

​ 对每个指标$i=0,1,2,...,n+1$，定义前向向量${\alpha }_i(x)$:
$${\alpha }_0(y|x)=\{\begin{array}{ll}1,& y=start\\ 0,& 否则\end{array}$$
​ 递推公式：
$${\alpha }_i^T(y_i|x)={\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x),i=1,2,3,...,n+1$$
​ 也可以表示为：
$${\alpha }_i^T(x)={\alpha }_{i-1}^T(x)M_i(x)$$
${\alpha }_i(y_i|x)$表示在位置$i$的标记是$y_i$并且到位置$i$的前部分标记序列的非规范化概率（只是一个有概率意义的数值，不是真正意义的概率），$y_i$可取的值有$m$个，所以${\alpha }_i(y_i|x)$是m维列向量。

​ 同样，对每个指标$i=0,1,2,...,n+1$，定义后向向量${\beta }_i(x)$:
$$\begin{gathered} {\beta }_{n+1}(y_{n+1}|x)=\{\begin{array}{ll}1,& y_{n+1}=stop\\ 0,& 否则\end{array} \\ {\beta }_i(y_i|x)=M_i(y_i,y_{i+1}|x){\beta }_{i-1}(y_{i+1}|x) \end{gathered}$$
​ 又可以表示为：
$${\beta }_i(x)=M_{i+1}(x){\beta }_{i+1}(x)$$
${\beta }_i(y_i|x)$表示在位置$i$的标记为$y_i$并且从$i+1$到$n$的后部分标记序列的非规范化概率。

​ 由前向-后向向量定义可以得到：
$$Z(x)={\alpha }_n^T(x)\cdot 1=1^T\cdot {\beta }_1(x)$$
​ 这里，$1$是元素均为1的m维列向量。

3.2 概率计算

​ 按照前向-后向向量的定义，很容易计算标记序列在位置$i$是标记$y_i$的条件概率和在位置$i-1$与$i$是标记$y_{i-1}$和$y_i$的条件概率:
$$\begin{array}{rl}P(Y_i=y_i|x)& =\frac{{\alpha }_i^T(y_i|x){\beta }_i(y_i|x)}{Z(x)}\\ P(Y_{i-1}=y_{i-1},Y_i=y_i|x)& =\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)}\end{array}$$
其中，$Z(x)={\alpha }_n^T(x)\cdot 1$

3.3 期望值的计算

​ 利用前向-后向向量，可以计算特征函数关于联合分布$P(X,Y)$和条件分布$P(Y|X)$的数学期望。

​ 特征函数$f_k$关于条件分布$P(Y|X)$的数学期望是：
$$\begin{array}{rl}{E}_{P(Y|X)}[f_k]& =\sum _{y}P(y|x)f_k(y,x)\\ & =\sum _{i=1}^{n+1}\sum _{y_{i-1}{y}_i}{f}_k(y_{i-1},y_i,x,i)\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)},k=1,2,...,K\end{array}$$
其中，$Z(x)={\alpha }_n^T(x)\cdot 1$，从公式来理解，对特征函数求期望，就是对图中的每条边求期望，而一条边的出现跟这条边上的两个节点有关，对应特征$f_k(y_{i-1},y_i,x,i)$第$i$时刻的某条边，出现这条边的概率为$P(y_{i-1},y_1|x)$。

​ 假设经验分布为$\tilde{P}(X)$，特征函数$f_k$关于联合分布$P(X,Y)$的数学期望是：
$$\begin{array}{rl}{E}_{P(X,Y)}[f_k]& =\sum _{x,y}P(x,y)\sum _{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)\\ & =\sum _x\tilde{P}(x)\sum _{y}P(y|x)\sum _{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)\\ & =\sum _x\tilde{P}(x)\sum _{i=1}^{n+1}\sum _{y_{i-1}{y}_i}{f}_k(y_{i-1},y_i,x,i)\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)},k=1,2,...,K\end{array}$$
其中，$Z(x)={\alpha }_n^T(x)\cdot 1$。

​ 上两个式子是特征函数数学期望的一般计算公式。对于转移特征$t_k$和状态特征$s_l$，可以将$f_k$换成$t_k,s_l$求相应的特征函数期望。

4. 条件随机场的学习算法

​ 条件随机场的学习算法：给定训练数据集，估计条件随机场模型参数的问题，即条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线性模型，其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。

4.1 改进的迭代尺度法

​ 已知训练数据集，由此可知经验概率分布$\tilde{P}(X,Y)$，可以通过极大化训练数据的对数似然函数来求模型参数。

​ 训练数据的对数似然函数为：
$$L(w)=L_{\tilde{P}}(P_w)=\log \prod _{x,y}{P}_w(y|x{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x)$$
当$P_w$是下列式子：
$$\begin{array}{rl}P(y|x)& =\frac{1}{Z(x)}\exp \sum _{k=1}^K{w}_k{f}_k(y,x)\\ Z(x)& =\sum _y\exp \sum _{k=1}^K{w}_k{f}_k(y,x)\end{array}$$
给出的条件随机场模型时，对数似然函数为：
$$\begin{array}{rl}L(w)& =\sum _{x,y}\tilde{P}(x,y)\log P_w(y|x)\\ & =\sum _{x,y}[\tilde{P}(x,y)\sum _{k=1}^K{w}_k{f}_k(y,x)-\tilde{P}(x,y)\log Z_w(x)]\\ & =\sum _{j=1}^N\sum _{k=1}^K{w}_k{f}_k(y_j,x_j)-\sum _{j=1}^N{Z}_w(x_j)\end{array}$$
​ 改进的迭代尺度法通过迭代的方法不断优化对数似然函数改变量的下界，达到极大化对数似然函数的目的。假设模型的当前参数向量为$\mathbf{w}＝(w_1,w_2,...,w_K{)}^T$，向量的增量为$\mathbf{\delta }＝(\delta {)}_1,{\delta }_2,...,{\delta }_K{)}^T$，更新参数向量$\mathbf{w}＋\mathbf{\delta }＝(w_1+{\delta }_1,w_2+{\delta }_2,..,w_K+{\delta }_K)$。在每步迭代过程中，改进的代尺度法通过依次求解下列式子$E_{\tilde{P}}[t_k]$和$E_{\tilde{P}}[s_l]$得到$\mathbf{\delta }=({\delta }_1,{\delta }_2,...,{\delta }_K{)}^T$。

​ 关于转移特征t的更新方程为：
$$\begin{array}{rl}{E}_{\tilde{P}}[t_k]& =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^{n+1}{t}_k(y_{i-1},y_i,x,i)\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{t}_k(y_{i-1},y_i,x,i)\exp ({\delta }_{k}T(x,y)),k=1,2,...,K_1\end{array}$$
​ 关于状态特征s的更新方程为:
$$\begin{array}{rl}{E}_{\tilde{P}}[s_l]& =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^{n+1}{s}_l(y_i,x,i)\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{s}_l(y_i,x,i)\exp ({\delta }_{K_1+l}T(x,y)),k=1,2,...,K_2\end{array}$$
这里，$T(x,y)$是在数据$(x,y)$中出现的所有特征数的总和：
$$T(x,y)=\sum _k{f}_k(y,x)=\sum _{k=1}^K\sum _{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)$$
算法过程：

• 输入：特征函数$t_1,t_2,...,t_{K_1},s_1,s_2,...,s_{K_2}$；经验分布$\tilde{P}(x,y)$;
• 输出：餐数据及值$\hat{w}$；模型$P_{\hat{w}}$。

1. 对所有$k\in 1,2,...,K$，取初值$w_k=0$

2. 对每一$k\in 1,2,...,K$：

   (a). 当$k=1,2,...,K_1$时，令${\delta }_k$是方程
   $$\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{t}_k(y_{i-1},y_i,x,i)\exp ({\delta }_{k}T(x,y))=E_{\tilde{P}}[t_k]$$
   的解

   ​ 当$k=K_1+l,l=1,2,...,K_2$时，令${\delta }_{k+l}$是方程
   $$\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{s}_l(y_i,x,i)\exp ({\delta }_{K_1+l}T(x,y))=E_{\tilde{P}}[s_l]$$
   (b). 更新$w_k$值：$w_k\leftarrow w_k+{\delta }_k$

3. 如果不是所有$w_k$都收敛，重复步骤2.

   上式中，$T(x,y)$表示数据$(x,y)$中的特征总数，对不同的数据$(x,y)$取值可能不同，为了处理这个问题，定义松弛特征$s(x,y)=S-\sum _{i=1}^{n+1}\sum _{k=1}^K{f}_k(y_{i-1},y_i,x,i)$，其中S是一个常数，选择足够大的常数S使得对训练数据集的所有数据$(x,y)$，$s(x,y)\ge 0$成立，这是特征总数可取S。

   因此，对于转移特征$t_k,{\delta }_k$的更新方程是：
   $$\begin{gathered} \sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{t}_k(y_{i-1},y_i,x,i)\exp ({\delta }_{K}S)=E_{\tilde{P}}[t_k] \\ {\delta }_k=\frac{1}{S}\log \frac{E_{\tilde{P}}[t_k]}{E_P[t_k]} \end{gathered}$$
   其中，
   $$E_P(t_k)=\sum _x\tilde{P}(x)\sum _{i=1}^{n+1}\sum _{y_{i-1}{y}_i}{t}_k(y_{i-1},y_i,x,i)\frac{{\alpha }_{i-1}^T(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)}$$
   同样，对于状态特征$s_l,{\delta }_k$的更新方程是：

   $$\begin{gathered} \sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{s}_l(y_{i-1},y_i,x,i)\exp ({\delta }_{K+l}S)=E_{\tilde{P}}[s_l] \\ {\delta }_{k+l}=\frac{1}{S}\log \frac{E_{\tilde{P}}[s_l]}{E_P[s_l]} \end{gathered}$$
   其中，
   $$E_P(s_l)=\sum _x\tilde{P}(x)\sum _{i=1}^n\sum _{y_i}{s}_l(y_i,x,i)\frac{{\alpha }_i^T(y_i|x){\beta }_i(y_i|x)}{Z(x)}$$
   以上算法称为算法S，在算法S中需要是常数S取足够大，这样一来，每部迭代的增量向量会变大，算法收敛会变慢。

   算法T视图解决这个问题，算法T对每个观测序列$x$计算其特征总数最大值$T(x)$:
   $$T(x)=\underset{y}{\max }T(x,y)$$
   利用前向-后向递推公式，可以很容易地计算$T(x)=t$

   这时关于转移特征参数的更新方程可以写成:
   $$\begin{array}{rl}{E}_{\tilde{P}}[t_k]& =\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^{n+1}{t}_k(y_{i-1},y_i,x,i)\exp ({\delta }_{K}T(x))\\ & =\sum _x\tilde{P}(x)\sum _{y}P(y|x)\sum _{i=1}^{n+1}{t}_k(y_{i-1},y_i,x,i)\exp ({\delta }_{K}T(x))\\ & =\sum _x\tilde{P}(x)a_{k,t}\exp ({\delta }_k\cdot t)\\ & =\sum _{t=0}^{\max }{a}_{k,t}{\beta }_k^t\end{array}$$
   这里，$a_{k,t}$是特征$t_k$的期待值，${\delta }_k=\log {\beta }_k,{\beta }_k$是上述多项式方程唯一的实根，可以用牛顿法求得，从而得到相关的${\delta }_k$。

   同样，可以用于关于状态特征的参数更新。

4.2 拟牛顿法

​ 条件随机场模型学习还可以应用牛顿法或拟牛顿法。对于条件随机场模型
$$P_w(y|x)=\frac{\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))}{\sum _y\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))}$$
学习的优化目标函数是：
$$\underset{w\in R^n}{\min }f(w)=\sum _x\tilde{P}(x)\log \sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$
其梯度函数是：
$$g(w)=\sum _{x,y}\tilde{P}(x)P_w(y|x)f(x,y)-E_{\tilde{P}}(f)$$
拟牛顿法的BFGS算法如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cNyvgEa2-1584953186799)(F:\Markdown\image\image-20200323164004538.png)]

​ 条件随机场的预测问题是给定条件随机场$P(Y|X)$和输入序列（观测序列）$x$，求条件概率最大的输出序列（标记序列）$y^{\ast }$，即对观测序列进行标注。条件随机场的预测算法是注明的维特比算法，参考一文读懂NLP之隐马尔科夫模型。
$$\begin{array}{rl}{y}^{\ast }& =\arg \underset{y}{\max }P(y|x)\\ & =\arg \underset{y}{\max }\frac{\exp (w\cdot F(y,x))}{Z_w(x)}\\ & =\arg \underset{y}{\max }\exp (w\cdot F(y,x))\\ & =\arg \underset{y}{\max }(w\cdot F(y,x))\end{array}$$
​ 于是，条件随机场的预测问题称为求非规范化概率最大的最优路径问题：$\underset{y}{\max }(w\cdot F(y,x))$，这里，路径表示标记序列。其中，
$$\begin{array}{rl}\mathbf{w}& =(w_1,w_2,...,w_K{)}^T\\ F(y,x)& =(f_1(y,x),f_2(y,x),...,f_K(y,x){)}^T\\ f_k(y,x)& =\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i),k=1,2,...,K\end{array}$$
注意，这时只需计算飞归发话概率，而不必计算概率，可以大大提高效率。为了求解最优路径，可以将$\underset{y}{\max }(w\cdot F(y,x))$写成以下形式：
$$\underset{y}{\max }(w\cdot F_i(y_{i-1},y_i,x))$$
其中，$F_i(y_{i-1},y_i,x)=(f_1(y_{i-1},y_i,x,i),f_2(y_{i-1},y_i,x,i),...,f_K(y_{i-1},y_i,x,i){)}^T$是局部特征向量。

5.1 维特比算法

首先求出位置1的各个标记$j=1,2,...,m$的非规范化概率：
$${\delta }_1(j)=w\cdot F_1(y_0=start,y_1=j,x),j=1,2,...m$$
一般的，由递推公式，求出到位置$i$的各个标记$l=1,2,...,m$的非规范化概率的最大值，同时记录非规范化概率最大值的路径
δ i ( l ) = max ⁡ 1 ≤ j ≤ m { δ i − 1 ( j ) + w ⋅ F i ( y i − 1 = j , y i = l , x ) } , l = 1 , 2 , . . . , m Ψ i ( l ) = arg ⁡ max ⁡ 1 ≤ j ≤ m { δ i − 1 ( j ) + w ⋅ F i ( y i 1 = j , y i = l , x ) } , l = 1 , 2 , . . . , m \delta_i(l)=\max\limits_{1\leq j\leq m}\{\delta_{i-1}(j)+w\cdot F_i(y_{i-1}=j,y_i=l,x)\},\quad l=1,2,...,m\\ \Psi_i(l)=\arg\max\limits_{1\leq j\leq m}\{\delta_{i-1}(j)+w\cdot F_i(y_{i_1}=j,y_i=l,x)\},\quad l=1,2,...,m δi​(l)=1≤j≤mmax​{δi−1​(j)+w⋅Fi​(yi−1​=j,yi​=l,x)},l=1,2,...,mΨi​(l)=arg1≤j≤mmax​{δi−1​(j)+w⋅Fi​(yi1​​=j,yi​=l,x)},l=1,2,...,m
知道$i=n$时终止，这时求得非规范化概率的最大值为$\underset{y}{\max }(w\cdot F(y,x))=\underset{1\le j\le m}{\max }{\delta }_n(j)$及最优路径的终点$y^{\ast }=\arg \underset{1\le j\le m}{\max }{\delta }_n(j)$，再由此最优路径终点依次往前回溯$y_i^{\ast }={\Psi }_{i+1}(y_{i+1}^{\ast }),i=n-1,n-2,...,1$求得最优路径$y^{\ast }=(y_1^{\ast },y_2^{\ast },...,y_n^{\ast }{)}^T$。以上就是维特比算法的思路流程。

5.2 维特比算法举例

​ 设有一标注问题：输入观测序列为$\mathbf{X}=(X_1,X_2,X_3)$，输出标记序列为$\mathbf{Y}=(Y_1,Y_2,Y_3)$，$Y_1,Y_2,Y_3$取值空间为 { 1 , 2 } \{1,2\} {1,2}。假设特征函数$t_k,s_l$和对应的权值${\lambda }_k$，${\mu }_l$如下：
$$t_1=t_1(y_{i-1}=1,y_i=2,x,i),i=2,3,{\lambda }_1=1$$
这表示当当前位置$y$取值为2，上一位置为1，则特征函数$t$取值为1，取值为0的条件省略，即：
$$t_1(y_{i-1}=1,y_i=2,x,i)=\{\begin{array}{ll}1,& y_{i-1}=1,y_i=2,x,i,(i=2,3)\\ 0,& 其他\end{array}$$

一共有5个特征函数$t$，4个特征函数$s$。

用i特比算法求给定输入序列$x$对应的最有输出序列$y^{\ast }=(y_1^{\ast },y_2^{\ast },y_3^{\ast })$

求解最优路径，即求解$\max \sum _{i=1}^{3}w\cdot F_i(y_{i-1},y_i,x)$

1. 初始化

$${\delta }_1(j)=w\cdot F_1(y_0=start,y_1=j,x),j=1,2$$

64422.png" style=“zoom:75%;” />

5.2 维特比算法举例

​ 设有一标注问题：输入观测序列为$\mathbf{X}=(X_1,X_2,X_3)$，输出标记序列为$\mathbf{Y}=(Y_1,Y_2,Y_3)$，$Y_1,Y_2,Y_3$取值空间为 { 1 , 2 } \{1,2\} {1,2}。假设特征函数$t_k,s_l$和对应的权值${\lambda }_k$，${\mu }_l$如下：
$$t_1=t_1(y_{i-1}=1,y_i=2,x,i),i=2,3,{\lambda }_1=1$$
这表示当当前位置$y$取值为2，上一位置为1，则特征函数$t$取值为1，取值为0的条件省略，即：
$$t_1(y_{i-1}=1,y_i=2,x,i)=\{\begin{array}{ll}1,& y_{i-1}=1,y_i=2,x,i,(i=2,3)\\ 0,& 其他\end{array}$$

一共有5个特征函数$t$，4个特征函数$s$。

用i特比算法求给定输入序列$x$对应的最有输出序列$y^{\ast }=(y_1^{\ast },y_2^{\ast },y_3^{\ast })$

求解最优路径，即求解$\max \sum _{i=1}^{3}w\cdot F_i(y_{i-1},y_i,x)$

1. 初始化

$${\delta }_1(j)=w\cdot F_1(y_0=start,y_1=j,x),j=1,2$$

代码实现见我的Github