自然语言处理（十二）——马尔科夫过程

一、绪论

1.随机过程：就是一族（无限多个）随机变量{ X(t), t}，其中，t是参数，它属于某个指标集T，T称为参数集。通常，我们把t看作是时间。X(t)为时刻t时过程的状态。所有的状态称为随机过程的状态空间。

接下来用一个例子来理解一下这个随机过程，物理中的分子无规则运动中，随时间的变化，分子的运动一时刻是一时刻的位移，运动的位置也没有什么具有的规则。这就是一个随机过程的例子，可以看出想要研究这种毫无规则的过程是很困难的，因此如果加以一些限制，就可以通过数学手段来研究。

2.马尔科夫性：这个也叫无后效性，通俗的来讲，就是以后的状态，只和当前的状态有关，和以前的状态无关，这个思想在前面介绍的n元语法模型中就有体现。这里再通过句子的概率来温习一下，如果想求句子s=“明天应该会下雨”的概率，如果按理想情况，肯定会求p（应该 | 明天） p（会|明天应该） p（下雨|明天应该会）。但是这样太复杂，所以引出了马尔科夫链。就成了求：

p（应该 | 明天） p（会|应该） p（下雨|会）。

二、马尔科夫过程相关概念

1.马尔科夫过程： 顾名思义，具备马尔科夫性的随