1.Markov假设
有限历史 以及 平稳。
有限历史指的是和有限的历史相关
平稳指的是 两个状态的关系和时间无关。
2.HMM
给定观察序列{O1,O2,O3...},每个观察Oi对应隐状态序列{S1,S2....Sn}。
HMM解决三个问题:
1.计算观察序列的概率
利用forward算法即可
2.跟定观察序列,计算出对应概率最大的隐状态序列
Viterbi算法,提供O(N*N*T)的复杂度
3.给定观察序列以及状态集合,估计参数 A(状态转移矩阵) B(发射概率)
EM算法, forward-backword 算法
问题2类似序列标注的问题
Pr(O|S) = p(O1|S1)*p(O2|S2).....p(On|Sn)
P(O) = p(O1|start)*p(O2|O1).....p(On|On-1)
P(S|O) = argmaxPr(O|S)P(O) = argmax( ....p(Oi|Si)*p(Si|Si-1)....)
ME:
分类器,将给定的观察值O进行分类。
ME需要从O中提取出相关的Feature以及计算对应w。
注意:主要解决的是观察值O分类问题,如文本分类d那个
P(C=c|O)
MEMM:
序列标注问题,综合ME和HMM,提供更多的Featrue,优于HMM
考虑到t时间附近观察以及状态对其影响。
P(S|O) = argmax (P(S|O) = argmax(....p(Si| O, Si-1)....),其中O可以是Oi,也可以是Oi-1等观察。
HMM与MEMM的区别:
从图上来看: