1.统计语言模型
一阶马尔科夫假设:p(s)=p(w1)*p(w2|w1)*p(w3|w2)...p(wn|wn-1),p(wi|wi-1)=p(wi,wi-1)/p(wi-1)。基于条件概率的二元统计语言模型,该模型太过简化,认为一个词的出现只与其前面的一个词相关。
N-1阶马尔科夫假设:p(wi|w1,w2,w3,...,wi-1)=p(w1|wi-n+1,wi-n+2,...,wi-1)。基于条件概率的N元统计语言模型。
由于指数级别的时间复杂度、空间复杂度和高阶的实际效果提升不大,实际应用中最多的是三元模型。
马尔科夫假设的局限性:由于自然语言中上下文之间的相关性可能跨度非常大,再高阶的模型也无可奈何,所以可采用长程的依赖性(long distance dependency)来解决。
由于零概率问题,模型的训练需要通过平滑方法来解决。
采用统计语言模型来进行中文分词效果要普遍高于人工分词。主要注重分词的粒度和分词的一致性。
2.隐含马尔科夫模型
马尔科夫链
隐马尔科夫链