数模笔记-马尔可夫预测

一、算法概述

马尔可夫(Markov)预测法是一种关于事件发生的概率预测方法。它是根据事件的目前状况来预测其将来各个时刻（或时期）的一种预测方法。

深入马尔可夫模型需要了解几个相关概念：

1、马尔可夫过程

马尔可夫过程(Markov proccess) 是一类随机过程，由俄国数学家A.A.Markov于1907年提出。该过程具有以下特性：在已知目前状态 （现在） 的条件下，它未来的演变 （将来） 不依赖于以往的演变 （过去）。在现实中，很多过程都可视作马尔可夫过程，如液体中微粒所做的布朗运动、传染病受感染的人群、车站的候车人数等。

马尔可夫过程最核心的几个概念：过去、现在、将来，最核心的在于”现在“ 如何理解。

在马尔可夫性的定义中，"现在"是指固定的时刻，但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时。

例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性，这里τ为停时，并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。

在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年，才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明，强马尔可夫过程才是马尔可夫过程真正研究的对象。

所以一个马尔科夫过程就是指过程中的每个状态的转移只依赖于之前的 n个状态，这个过程被称为 n阶马尔科夫模型，其中 n是影响转移状态的数目。最简单的马尔科夫过程就是一阶过程，每一个状态的转移只依赖于其之前的那一个状态，这也是后面很多模型的讨论基础，很多时候马尔科夫链、隐马尔可夫模型都是只讨论一阶模型，甚至很多文章就将一阶模型称之为马尔科夫模型，现在我们知道一阶只是一种特例而。

因此，马尔科夫过程指的是一个状态不断演变的过程，对其进行建模后称之为马尔科夫模型，在一定程度上，马尔科夫过程和马尔科夫链可以打等号的。

2、马尔可夫性（无后效性）

在马尔可夫过程中，在给定当前知识或信息的情况下，过去对于预测将来是无关的，这种性质被称为马尔可夫性（无后效性）。简而言之，将来与过去无关，只与现在相关，不断向前形成的一个过程。

3、马尔可夫链

时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为Xn=X(n),n=0,1,2…马尔可夫链是随机变量X1,X2,X3…的一个数列。

这种离散的情况是讨论的重点，很多时候我们就直接说这样的离散情况就是一个马尔科夫模型。

在司守奎中马尔可夫链的定义：

当上式中右边的条件概率与n无关，只与m有关时，称之为时齐的马尔可夫链：

### 1.1 状态空间
马尔可夫链是随机变量X1,X2,X3…Xn所组成的一个数列，每一个变量Xi 都有几种不同的可能取值，即它们所有可能取值的集合，被称为状态空间，而Xn的值则是在时间n的状态。

1.2 转移概率

马尔可夫链可以用条件概率模型来描述，我们把在前一时刻某取值下当前时刻取值的条件概率称作转移概率。

Pst是一个条件概率，表示在前一个状态为s的条件下，当前状态为t的概率是多少。

1.3 转移概率矩阵

由于在每一个不同的时刻状态不止一种，所以由前一个时刻的状态转移到当前的某一个状态有几种情况，那么所有的条件概率会组成一个矩阵，这个矩阵就称之为转移概率矩阵。

比如每一个时刻的状态有n种，前一时刻的每一种状态都有可能转移到当前时刻的任意一种状态，所以一共有n*n种情况，组织成一个矩阵形式如下：

在司守奎中的定义：

其中提到，当实际问题可以用马尔可夫链来描述时，首先要确定它的状态空间及参数集合，然后确定他的一步转移概率。

关于这一概率的确定，可以由问题的内在规律得到，也可以由过去经验给出，还可以根据观察数据来估计。

1.4 柯尔莫哥洛夫-开普曼定理

1.5 转移概率的渐进性质——极限概率分布

二、模型应用