自然语言处理--HMM.MEMM,CRF(五)

CRF(Conditional random fields)条件随机场

其实我最想说的是这个！！！ 战线拉得太长了。
CRF可以看做是MEMM的进阶版本，它们都是要对同一个概率进行建模：

$$p(y_1,...,y_n|x_1,...x_n)$$
我们回看一下，MEMM是怎么建模的
$$p(s_1, s_2, ...,s_n|x_1, x_2, ...,x_n) = \prod_{i=1}^n p(s_i|s_1,...,s_{i-1},, x_1,...,x_n) \\ =\prod_{i=1}^n p(s_i|s_{i-1},, x_1,...,x_n)$$
对于每一个 $p(s_i|s_{i-1},, x_1,...,x_n)$,有：
$$\frac{exp(w.\phi(x_1,...,x_n,i,s_{i-1},s_i)}{\sum_{s^{,} \in S} exp(w.\phi(x_1,...,x_n,i,s_{i-1},s^{'})}$$
可以看到，MEMM是一种“步进式的”，挨个对每个时刻建模，归一化也是局部归一化。那CRF跟MEMM比有什么区别，它厉害在什么地方呢？我们先给出CRF的建模方式:
$$p(s_1, s_2, ...,s_n|x_1, x_2, ...,x_n) = \frac{exp(w.\Phi(x_1,...,x_n,i,s_{i-1},s_i)}{\sum_{s^{,} \in S} exp(w.\Phi(x_1,...,x_n,i,s_{i-1},s^{'})}$$
一看怎么和MEMM差不多啊，哈哈，有区别有区别，一个是 $\phi$一个是 $\Phi$.
$$\Phi(x_1,...,x_n,i,s_{i-1},s_i) = \sum_{j=1}^m\phi(x_1,...,x_n,i,s_{i-1},s_i)$$
这一部就是关键。CRF不是“步进式”的，对每个时刻挨个建模，它是一次性的建模整个序列！
望各位同道细思之。