条件随机场

一：回顾
从HMM（隐马尔科夫）模型到MEMM（最大熵马尔科夫）模型
HMM是生成式模型，也就是基于联合概率建模，其中参数有
$\lambda =(\pi ,A,B)$
两种前提假设：
1：齐次马尔科夫假设
2：观测独立假设
建模对象：
$P(X,Y|\lambda )={\prod }_{t}p(x_t,y_t|\lambda )$
$={\prod }_{t}p(y_t|y_{t-1},\lambda )p(x_t|y_t,\lambda )$
MEMM是判别式模型，打破了观测独立假设，显得更新合理，建模对象：
$P(Y|X,\lambda )={\prod }_{t}p(y_t|y_{t-1},x_{1->t},\lambda )$

从MEMM到CRF
MEMM存在的问题：label bias problem(标记偏差问题)
CRF的优势：
1：解决了标记偏差问题
2：从有向变为无向
3：打破了齐次马尔科夫性

条件随机场定义：

二：条件随机场(CRF)概率密度函数的参数形式：

无向图的因子分解公式：
$P(X|Y)=\prod _i^t\frac{1}{Z}{\psi }_i(X_{C_i})$
这里$Z是归一化因子，{\psi }_i是势函数，C_i表示第i个最大团$
上式势函数通常取指数函数，展开有
$P(X|Y)=\prod _i^t\frac{1}{Z}exp[-E_i(X_{C_i})]$
上式中的$E_i(X_{C_i})$叫做能量函数，令$-E_i(X_{C_i})=F_i(X_{C_i})$
原式等于
$P(X|Y)=\prod _i^t\frac{1}{Z}exp[F_i(X_{C_i})]$
$=\frac{1}{Z}exp\sum _i^t{F}_i(X_{C_i})$
由于是线性链，所以$X_{C_i}可以表示成为y_{t-1},y_t,x_{1..T}$
$=\frac{1}{Z}exp\sum _i^t{F}_i(y_{t-1},y_t,x_{1..T})$
又因为每个线性链结构都是一样的，所以只用一个$F$函数即可
$=\frac{1}{Z}exp\sum _i^{t}F(y_{t-1},y_t,x_T)$

对于线性链，可以把
$F函数表示为三个函数，关于y_{t-1}的函数，关于y_t的函数，关于边(y_{t-1},y_t)的函数$
$F(y_{t-1},y_t,x_T)=\Delta (y_{t-1},x_T)+\Delta (y_t,x_T)+\Delta (y_{t-1},y_t,x_T)$
其中前两项称作状态函数，后项称作转移函数
又因为$\Delta (y_{t-1},x_T),\Delta (y_t,x_T)$函数是相同的，这里可以用一个来表示
令：
$\Delta (y_{t-1},y_t,x_T)={\sum }_i^k{\lambda }_i{f}_i(y_{t-1},y_t,x_T)$
$\Delta (y_t,x_T)={\sum }_i^l{\eta }_i{g}_i(y_t,x_T)$
其中：${\lambda }_i,{\eta }_i是参数，f_i，g_i是特征函数$
此时原函数可以表示为：
$P(X|Y)=\frac{1}{Z}exp\sum _i^{k}F(y_{t-1},y_t,x_T)$
$=\frac{1}{Z}exp\sum _i^t[\sum _i^k{\lambda }_i{f}_i(y_{t-1},y_t,x_T)+\sum _i^l{\eta }_i{g}_i(y_t,x_T)]$
使用向量化表示参数，令：

此时原式可表示为：

$=\frac{1}{Z(x,\lambda ,\eta )}exp\sum _i^k[{\lambda }^{T}f(y_{t-1},y_t,x_T)+{\eta }^{T}g(y_t,x_T)]$
令：

原式可进一步表示为：
$=\frac{1}{Z(x,\theta )}exp\sum _i^k[{\theta }^{T}H(y_{t-1},y_t,x_T)]$

三：CRF要解决的问题：

1. 求边缘概率 $p(y_t|x)$
2. 参数估计$\theta =argmax\prod _{i=1}^{N}P(y^i|x^i)$

首先求边缘概率：
给定
$p(Y=y|X=x)求p(y_t=i|x)$
应用无向图因式分解公式有：
$P(Y|X)=\prod _i^t\frac{1}{Z}{\psi }_i(y_{t-1},y_t,x_T)$
所以：
$p(y_t=i|x)=\sum _{y_1}^T\sum _{y_2}^T...\sum _{y_{t-1}}^T\sum _{y_{t+1}}^T...\sum _{y_T}^T\prod _i^K{\psi }_i(y_{k-1},y_k,x_T)$
令：
$\Delta 左={\sum }_{y_{1...t-1}}^T{\psi }_1(y_0,y_1,x_T){\psi }_2(y_1,y_2,x_T)...{\psi }_{t-1}(y_{t-2},y_{t-1},x_T){\psi }_t(y_{t-1},y_t,x_T)$

$\Delta 右={\sum }_{y_{t+1...T}}^T{\psi }_{t+1}(y_t,y_{t+1},x_T)...{\psi }_T(y_{T-1},y_T,x_T)$

所以有
$p(y_t=i|x)=\frac{1}{Z}\Delta 左\Delta 右$

展开$\Delta 左的求和符号有$

$\Delta 左=\sum _{y_{t-1}}^T{\psi }_t(y_{t-1},y_t,x_T)\sum _{y_{t-2}}^T{\psi }_{t-1}(y_{t-2},y_{t-1},x_T)...\sum _{y_1}^T{\psi }_2(y_1,y_2,x_T)\sum _{y_0}^T{\psi }_1(y_0,y_1,x_T)$
同理
$\Delta 右=\sum _{y_T}^T{\psi }_T(y_{T-1},y_T,x_T)...\sum _{y_t}^T{\psi }_{t+1}(y_t,y_{t+1},x_T)$
递推公式：
令 ${\alpha }_{t-1}(i)=\Delta 左$
则：${\alpha }_t(j)=\sum _j^T{\psi }_t(y_{t-1}=i,y_t=j,x_T){\alpha }_{t-1}(i)$
同理令：${\beta }_{t-1}(i)=\Delta 右$
则：${\beta }_t(j)=\sum _j^T{\psi }_t(y_{t-1}=i,y_t=j,x_T){\beta }_{t-1}(i)$

$p(y_t=i|x)=\frac{1}{Z}{\alpha }_t(i){\beta }_t(i)$

求参数从略。。。。