条件随机场(crf)相关理解

 https://www.zhihu.com/question/35866596

建模公式：(一套CRF由一套参数λ唯一确定（先定义好各种特征函数）)

 

• 公式中O为观测序列，是X， I为隐状态序列， 为Y。  
• i为观测序列第i个token，k为第k个特征。
• 打分：指数上的特征加权。分数越高证明序列越靠谱，所以通过分数高可以确定。

HMM, MEMM,CRF的模型区别：

1. HMM，CRF为生成模型，MEMM为判别模型。

• HMM：P(It|It-1)*P(Ot|It)，隐状态转移以及观测状态依赖于隐状态。
• MEMM：P(It|It-1, Ot), 隐状态依赖于当前时刻观测以及上一时刻隐状态。
• CRF：综合考虑，设计了两种特征，把有向变成无向。

对比：

• HMM可以被看做是一种CRF，只不过CRF特征更广泛，比起局部的HMM更能发现整个句子特征。
• MEMM具有标注偏执问题，因为局部归一化，偏向于往状态分支较少的状态方向转移。