最大熵马尔科夫,看了N遍了。终于有点眉目。
最大熵马尔科夫在建模的时候考虑的问题和ME(最大熵模型)其实是一样的。
同样是马尔科夫的三个基本问题。
问题1:给定观察序列O=O1,O2,…OT,以及模型 λ=(π, A, B), 如何计算P(O|λ)?
问题2:给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列 S = q1,q2,…qT,使得S能够最为合理的解释观察序列O?即argmaxss∈Q|T|P(T,S|λ).
问题3:如何调整模型参数 λ=(π, A, B) , 使得P(O|λ)最大?
1. 对于第一个问题使用类似于Forward-Backward的过程来解决。
2. 对于第二个问题使用类似于Viterbi的算法来解决。
3. 对于第三个问题使用和ME模型训练相同的方法GIS来解决。
在建模的时候MEMM想优化的问题和ME很像。而在运用模型的时候和HMM很像。