马尔可夫模型

一、马尔科夫模型
1.1 马尔可夫过程

马尔可夫过程（Markov process）是一类随机过程。由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 (过去 )。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。

马尔科夫过程中最核心的几个概念：过去，现在，将来。其中最核心的在于“现在”如何理解。

在马尔可夫性的定义中，"现在"是指固定的时刻，但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时（见随机过程）。例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性，这里τ为停时，并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年，才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明，强马尔可夫过程才是马尔可夫过程真正研究的对象。

（这段话实在是太过于抽象了，不好理解，心里有数就行，因为这里的过去、现在、将来和我们生活中是有所差别的，不太好理解！）

所以：一个马尔科夫过程就是指过程中的每个状态的转移只依赖于之前的 n个状态，这个过程被称为 n阶马尔科夫模型，其中 n是影响转移状态的数目。最简单的马尔科夫过程就是一阶过程，每一个状态的转移只依赖于其之前的那一个状态，这也是后面很多模型的讨论基础，很多时候马尔科夫链、隐马尔可夫模型都是只讨论一阶模型，甚至很多文章就将一阶模型称之为马尔科夫模型，现在我们知道一阶只是一种特例而已了。

对于一阶马尔科夫模型，则有：

如果第 i 时刻上的取值依赖于且仅依赖于第 i−1 时刻的取值，即

​ 从这个式子可以看出，xi 仅仅与 xi-1有关，二跟他前面的都没有关系了，这就是一阶过程。
​

总结：马尔科夫过程指的是一个状态不断演变的过程，对其进行建模后称之为马尔科夫模型，在一定程度上，马尔科夫过程和马尔科夫链可以打等号的。

1.2 马尔科夫性（无后效型）

在马尔科夫过程中，在给定当前知识或信息的情况下，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。这种性质叫做无后效性。简单地说就是将来与过去无关，值与现在有关，不断向前形成这样一个过程。

1.3 马尔可夫链

时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为Xn=X(n),n=0,1,2…马尔可夫链是随机变量X1,X2,X3…的一个数列。

这种离散的情况其实草是我们所讨论的重点，很多时候我们就直接说这样的离散情况就是一个马尔科夫模型。

（1）关键概念——状态空间

马尔可夫链是随机变量X1,X2,X3…Xn所组成的一个数列，每一个变量Xi 都有几种不同的可能取值，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。

（2）关键概念——转移概率(Transition Probability）

马尔可夫链可以用条件概率模型来描述。我们把在前一时刻某取值下当前时刻取值的条件概率称作转移概率。

上面是一个条件概率，表示在前一个状态为s的条件下，当前状态为t的概率是多少。

（3）关键概念——转移概率矩阵

很明显，由于在每一个不同的时刻状态不止一种，所以由前一个时刻的状态转移到当前的某一个状态有几种情况，那么所有的条件概率会组成一个矩阵，这个矩阵就称之为“转移概率矩阵”。比如每一个时刻的状态有n中，前一时刻的每一种状态都有可能转移到当前时刻的任意一种状态，所以一共有n*n种情况，组织成一个矩阵形式如下：

1.4 马尔可夫模型的应用

马尔可夫模型（Markov Model）是一种统计模型，广泛应用在语音识别，词性自动标注，音字转换，概率文法、序列分类等各个自然语言处理等应用领域。经过长期发展，尤其是在语音识别中的成功应用，使它成为一种通用的统计工具。到目前为止，它一直被认为是实现快速精确的语音识别系统的最成功的方法之一。

二、马尔科夫模型的案例之一——天气预报
下面是一个马尔科夫模型在天气预测方面的简单例子。如果第一天是雨天，第二天还是雨天的概率是0.8，是晴天的概率是0.2；如果第一天是晴天，第二天还是晴天的概率是0.6，是雨天的概率是0.4。问：如果第一天下雨了，第二天仍然是雨天的概率是多少？，第十天是晴天的概率是多少？；经过很长一段时间后雨天、晴天的概率分别是多少？

首先构建转移概率矩阵，由于这里每一天的状态就是晴天或者是下雨两种情况，所以矩阵是2x2的，如下：

雨天	晴天
0.8	0.4	雨天
0.2	0.6	晴天

注意：每列和为1，分别对雨天、晴天，这样构建出来的就是转移概率矩阵了。如下：

假设初始状态第一天是雨天，我们记为

这里【1，0】分别对于雨天，晴天。

初始条件：第一天是雨天，第二天仍然是雨天（记为P1）的概率为：

P1 = AxP0

得到P1 = 【0.8,0.2】，正好满足雨天~雨天概率为0.8，当然这根据所给条件就是这样。

下面计算第十天（记为P9）是晴天概率：

得到，第十天为雨天概率为0.6668，为晴天的概率为0.3332。

下面计算经过很长一段时间后雨天、晴天的概率，显然就是下面的递推公式了：

2.2 递推公式的改进

虽然上面构造了一个递推公式，但是直接计算矩阵A的n次方是很难计算的，我们将A进行特征分解（谱分解）一下，得到：

现在递推公式变成了下面的样子：

显然，当n趋于无穷即很长一段时间以后，Pn = 【0.67，0.33】。即雨天概率为0.67，晴天概率为0.33。并且，我们发现：初始状态如果是P0 =【0，1】，最后结果仍然是Pn = 【0.67，0.33】。这表明，马尔科夫过程与初始状态无关，跟转移矩阵有关。