建模公式:(一套CRF由一套参数λ唯一确定(先定义好各种特征函数))
- 公式中O为观测序列,是X, I为隐状态序列, 为Y。
- i为观测序列第i个token,k为第k个特征。
- 打分:指数上的特征加权。分数越高证明序列越靠谱,所以通过分数高可以确定。
HMM, MEMM,CRF的模型区别:
- HMM,CRF为生成模型,MEMM为判别模型。
- HMM:P(It|It-1)*P(Ot|It),隐状态转移以及观测状态依赖于隐状态。
- MEMM:P(It|It-1, Ot), 隐状态依赖于当前时刻观测以及上一时刻隐状态。
- CRF:综合考虑,设计了两种特征,把有向变成无向。
对比:
- HMM可以被看做是一种CRF,只不过CRF特征更广泛,比起局部的HMM更能发现整个句子特征。
- MEMM具有标注偏执问题,因为局部归一化,偏向于往状态分支较少的状态方向转移。