自然语言处理--HMM.MEMM,CRF(四)

MEMM(Maximum-entry Markov models)最大熵模型

好，说完了，HMM，我们来看看MEMM。
MEMM和HMM第一个不同的地方是，HMM是生成式模型，而MEMM是判别式模型，它是对如下概率进行建模：

$$p(y_1, y_2, ...,y_n|x_1, x_2, ...,x_n)$$
具体是建模方法如下：
$$p(y_1, y_2, ...,y_n|x_1, x_2, ...,x_n) = \prod_{i=1}^n p(s_i|s_1,...,s_{i-1},, x_1,...,x_n) \\ =\prod_{i=1}^n p(s_i|s_{i-1},, x_1,...,x_n)$$
第一个等式是链式法则，很容易懂。我们观察第二个等式，发现MEMM做了很HMM很类似的一个假设就是第i个位置的状态仅和第 $i_1$位置的状态的有关（齐次独立性假设）。
那么 $p(s_i|s_{i-1},, x_1,...,x_n)$再往下怎么弄呢？我们将这一概率形式建模成一个log-linear模型（这又是一段故事了），即：
$$p(s_i|s_{i-1},x_1,...,x_n)=\frac{exp(w.\phi(x_1,...,x_n,i,s_{i-1},s_i)}{\sum exp(w.\phi(x_1,...,x_n,i,s_{i-1},s^{'})}$$
(看来还是得说说这个log-linear， 跑不掉的 手动笑哭)
到此，MEMM是建模过程就完成了，参数的估计参见log-linear，
解码,viterbi