数学之美--笔记1

1.统计语言模型

一阶马尔科夫假设：p(s)=p(w1)*p(w2|w1)*p(w3|w2)...p(wn|wn-1)，p(wi|wi-1)=p(wi,wi-1)/p(wi-1)。基于条件概率的二元统计语言模型，该模型太过简化，认为一个词的出现只与其前面的一个词相关。

N-1阶马尔科夫假设：p(wi|w1,w2,w3,...,wi-1)=p(w1|wi-n+1,wi-n+2,...,wi-1)。基于条件概率的N元统计语言模型。

由于指数级别的时间复杂度、空间复杂度和高阶的实际效果提升不大，实际应用中最多的是三元模型。

马尔科夫假设的局限性：由于自然语言中上下文之间的相关性可能跨度非常大，再高阶的模型也无可奈何，所以可采用长程的依赖性(long distance dependency)来解决。

由于零概率问题，模型的训练需要通过平滑方法来解决。

采用统计语言模型来进行中文分词效果要普遍高于人工分词。主要注重分词的粒度和分词的一致性。

2.隐含马尔科夫模型

马尔科夫链

隐马尔科夫链