HMM VS MEMM VS CRF

一般而言，两个模型的对比，一般都是有缺点和优点的，这是经典的马克思主义学说，HMM，MEMM，CRF都是经典的概率图模型，它们有相同点，当然也有不同点。

1.相同点

HMM是生成模型，MEMM，CRF都是判别式模型，也就是求解条件概率，而判别式模型在求解标注问题时更加方便，时间消耗小。

2.不同点

HMM，MEMM，CRF当然不同，他们之间的关系是一种递进的关系，最终得到的结果是使得模型的合理性更加通用。由于最开始为了计算的简便，在计算HMM的三个问题的时候，就做了两个假设。而这两个假设显然是不合理的，所以才有了MEMM，MEMM为了解决观测独立性假设，在HMM概率图模型的基础上，将观测变量和隐状态变量之间的方向进行调换，破坏了观测独立性的假设。但同时也出现了新的问题，那就是标注偏差问题，是由于MEMM在形成概率模型时归一化出现的问题。这时就出现了CRF，条件随机场。条件随机场将隐状态变量之间的方向箭头取消，使之成为了无向图，这样就解决了HMM提出的第一个假设，即齐次马尔科夫假设，同时还解决了MEMM的标注偏差问题。所以说，CRF最终成为了一个相对成熟的概率图模型。