马尔柯夫预测法

最新推荐文章于 2023-02-10 11:01:29 发布

fisher_n

最新推荐文章于 2023-02-10 11:01:29 发布

阅读量3.3k

点赞数 2

分类专栏： WS信任管理数学工具

WS信任管理数学工具专栏收录该内容

8 篇文章 0 订阅

订阅专栏

　　马尔柯夫预测法：马尔柯夫预测以俄国数学家A.A.Markov名字命名，是利用状态之间转移概率矩阵预测事件发生的状态及其发展变化趋势，也是一种随时间序列分析法。它基于马尔柯夫链，根据事件的目前状况预测其将来各个时刻（或时期）的变动状况。　　1. 马尔柯夫链。状态是指某一事件在某个时刻（或时期）出现的某种结果。事件的发展，从一种状态转变为另一种状态，称为状态转移。在事件的发展过程中，若每次状态的转移都仅与前一时刻的状态有关，而与过去的状态无关，或者说状态转移过程是无后效性的，则这样的状态转移过程就称为马尔柯夫过程。马尔柯夫链是参数t只取离散值的马尔柯夫过程。　　2. 状态转移概率矩阵。在事件发展变化的过程中，从某一种状态出发，下以时刻转移到其他状态的可能性，称为状态转移概率，只用统计特性描述随机过程的状态转移概率。　　若事物有n中状态，则从一种状态开始相应就有n个状态转移概率，即。　　将事物n个状态的转移概率一次排列，可以得到一个n行n列的矩阵：　　3. 马尔柯夫预测模型。一次转移概率的预测方程为：　　式中：K——第K个时刻；　　S（K）——第K个时刻的状态预测；　　S（0）——对象的初始状态；　　P——一步转移概率矩阵。　　应用马尔柯夫预测法的基本要求是状态转移概率矩阵必须具有一定的稳定性。

马尔可夫矩阵

一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 (现在)的条件下，它未来的演变 (将来)不依赖于它以往的演变 ( 过去 ) 。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
离散时间马尔可夫链以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n1<n2<…<nl<m, n>0,i1,i2,…，il，i,j∈E，有

只要其中条件概率（见概率）有意义。一般地，设E={0，1,…,M}(M为正整数)或E={0,1,2,…},Xn，n≥0为取值于E的随机变量序列,如果(1)式成立，则称{X,n≥0}为马尔可夫链。如果(1)式右方与m无关，则称为齐次马尔可夫链。这时(1)式右方是马尔可夫链从i出发经n步转移到j的概率,称为转移概率，记为。对于马尔可夫链，人们最关心的是它的转移的概率规律,而n步转移矩阵正好描述了链的n步转移规律。由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k,然后再从k出发(与过去无关地)经m步再转移到j，因此有

这就是柯尔莫哥洛夫－查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如，设0<p<1，q=1-p，则M阶方阵

为随机矩阵，它刻画的马尔可夫链是一个具有反射壁的随机游动。设想一质点的可能位置是直线上的整数点 0，1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位。如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的i，则它以概率p转移到i+1,以概率q转移到i-1。又如果把P的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当时，称为对称随机游动。
为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若pij>0，则称i可以直达j，记作i→j,如还有pji>0，则记作i凮j，采用这样的记号，可以用图形表示运动的进程。例如图形

表示一个马尔可夫链的运动情况,当链处于b1,b2,b3状态时，将永远在{b1,b2,b3}中运动,当链处于α1,α2,α3,α4状态时，将永远在{α1,α2,α3,α4}中运动,而{d1,d2,…}不具有这种性质,因为从d1可一步转移到b1或d2,自d3可到α1或d4，等等。对一般的马尔可夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态,它将永远在C 中转移，C 就称为这个链的闭集。对闭集C，如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集，例如上例中的{b1,b2，b3}。至于{b1,b2,b3,с1,c2}虽然也是闭集,但却是可约的。如果从状态i出发经有限次转移后回到i的概率为1，则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集 E0（如上例中的{d1,d2,…}）和一些由常返状态组成的不可约闭集Eα（如上例中的 {b1,b2, b3},{α1，α2,α3,α4},{с1,c2}）的并。这样，在链的转移中，它或者总是在E0中转移，或者转移到某个常返类Eα中,一旦转移到Eα，它将永远在Eα中转移, 而且不时回到其中的每一个状态。特别，当 E本身是不可约常返闭集时，极限存在,其中0≤r<t，t是0)的最大公约数，即链的周期,与j无关。近20年建立起来的马丁边界理论，更细致地刻画了链在E0中转移的情况。它的主要思想是在链的状态空间E 中引进距离并将E 完备化，使得在这个距离下，Xn 以概率1收敛（见概率论中的收敛）。
连续时间马尔可夫链设E是{0,1,…,M}或{0,1,2，…},{X,t≥0}是一族取值于E的随机变量,如果在(1)式中, 将n1,n2,…,m,n理解为实数,(1)式仍成立,则称{Xt，t≥0}为连续时间马尔可夫链。若还与s≥0无关，记为pij(t)，则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵P(t)=(pij(t))(i,j∈E,t>0)所刻画。P(t)满足下述条件：①pij(t)≥0，；②柯尔莫哥洛夫-查普曼方程；通常假定：③标准性这里δii=1,δij=0(i≠j)。有时直接称满足①、②、③的一族矩阵P(t)=(pij(t))，t≥0为转移矩阵或马尔可夫链。当①中条件放宽为时,称为广转移矩阵,它有很好的解析性质。例如,每个pij(t)在t>0时具有连续的有穷导数 P拞(t)；在t＝0，右导数P拞(0)存在,i≠j时P拞(0)非负有穷,但P拞(0)可能为无穷。矩阵Q =(qij)呏(P拞(0))称为链的密度矩阵，又称Q矩阵。对于每个齐次马尔可夫链{X,t≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{X怂, t≥0}（即对一切t≥0，P(X怂≠Xt)=0, 且对每个轨道对一切t≥0有），而且以概率1，对任意t≥0, s从大于t的一侧趋于t时,X最多只有一个有穷的极限点。
以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或 Q过程。在一定条件下，Q广转移矩阵P(t),t≥0满足向后微分方程组

或者向前微分方程组

上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是Q矩阵问题或构造问题:给定一个矩阵Q =(qij),满足0qij＜+∞(i≠j),，是否存在Q广转移矩阵?如果存在，何时惟一?如果不惟一，如何求出全部的Q广转移矩阵？对于qii都有限的情形，W.费勒于1940年构造了一个最小解p(t),证明了Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于qii都有限的情形找到了Q 广转移矩阵的惟一性准则；至于求出全部Q 广转移矩阵的问题，仅仅对一些特殊的情形获得解决。对于Q 的对角线元素全为无穷的情形，D.威廉斯曾获得了完满的结果。
生灭过程考察一个群体成员的数目, 在时间的进程中可增可减，假定在时刻t群体有i个成员，在很短的时间间隔(t，t+Δt)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少（当i>0时）一个或保持不变。而增加一个的概率为，减少一个的概率为，保持不变的概率为。(pij(t))的密度矩阵是

式中α0≥0,b0>0，对一切i>0,αi>0,bi>0。具有上述形状的密度矩阵的齐次马尔可夫链称为生灭过程。
物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述，因此生灭过程有着广泛的实际应用。不仅如此，生灭过程还有重要的理论研究意义。关于生灭过程的结果已经十分丰富。当α0=0,b0>0时，只有一个生灭过程的充分必要条件是
。

对上述条件不成立的情形，中国学者王梓坤于1958年建立了“极限过渡法”，构造了全部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。此外，甚至对α0≥0，b0>0的情形,或更一般的双边生灭Q矩阵（即为一切整数）的情形,全部Q广转移矩阵也都已构造出来。
一般马尔可夫过程设(E，B)为可测空间，X={X，t≥0}为一族取值于E的随机变量,如果对任意的B，以概率1有
(2)

则称X为马尔可夫过程。
马尔可夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由, Xs所产生的σ域（见概率）可以扩大为一般的σ域Fs，只要Fs包含由｛X,u≤s｝产生的σ域，而当 s<t时，。如果对任意s≥0，t>0，A∈B，以概率1有
(3)

则称随机过程X={X,t≥0}为马尔可夫过程。第二,可以允许过程有寿命ζ，其中ζ是停时（见随机过程）。这时过程为X={X,t<ζ}。上述定义仍保留，但应作相应的修改，如{X∈As∈A,s<ζ)，(3)应理解为在{s<ζ}上几乎处处成立。
马尔可夫过程的许多性质可以通过转移函数来表达。转移函数P(s,x,t,A)(0≤s≤t，x∈E,A∈B)是满足某些条件的四元函数，它可以理解为过程在时刻s时处在x，在时刻t 时转移到A中的条件概率。如果P(s,x,t, A)=P(t-s,x,A)只依赖于t-s,x及A,则称转移函数及相应的马尔可夫过程为齐次的。设E是d维欧几里得空间Rd,B为Rd中的波莱尔域（见概率分布）Bd，而且齐次转移函数满足下面的登金－金尼条件：对任意 ε>0，·。式中Vε(x)={y:｜y-x｜≥ε}，那么可以选取轨道连续的齐次马尔可夫过程X，以p(t，x，A)为转移函数。一类重要的轨道连续马尔可夫过程是 d维布朗运动。
强马尔可夫过程在马尔可夫性的定义中，"现在"是指固定的时刻，但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时（见随机过程）。例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年，才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明，强马尔可夫过程才是马尔可夫过程真正研究的对象。
扩散过程历史上，扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程，但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中，却是按照转移函数来定义扩散过程的。直线上的马尔可夫过程，它有转移函数P(s，x,t,A)，如果对任意ε>0，

马尔可夫过程（Markov Process）

什么是马尔可夫过程

　　1、马尔可夫性(无后效性)

　　过程或（系统）在时刻t₀所处的状态为已知的条件下，过程在时刻t > t₀所处状态的条件分布，与过程在时刻t₀之前年处的状态无关的特性称为马尔可夫性或无后效性。

　　即：过程“将来”的情况与“过去”的情况是无关的。

　　2、马尔可夫过程的定义

　　具有马尔可夫性的随机过程称为马尔可夫过程。

　　用分布函数表述马尔可夫过程：

　　设I：随机过程{X(t),t\in T}的状态空间，如果对时间t的任意n个数值:

　　 $P{X(t_n)\le x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots ,X(t_{n-1})=x_{n-1}}$ （注：X(t_n)在条件X(t_i) = x_i下的条件分布函数）

　　 $=P{X(t_n\le x_n|X(t_{n-1})=x_{n-1}},x_n\in R$ (注：X(t_n))在条件X(t_{n − 1}) = x_{n − 1}下的条件分布函数）

　　或写成：

　　 $F_{t_n|t_1\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots,x_{n-1};t_1,t_2,\cdots,t_{n-1})$

　　 $F_{t_n|t_{n-1}}(x_n,t_n|x_{n-1},t_{n-1})$

　　这时称过程 $X(t),t\in T$ 具马尔可夫性或无后性，并称此过程为马尔可夫过程。

　　3、马尔可夫链的定义

　　时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为 ${X_n=X(n),n=0,1,2,\cdots}$ 。

马尔可夫过程的概率分布

　　研究时间和状态都是离散的随机序列: ${X_n=X(n),n=0,1,2,\cdots}$ ,状态空间为 $I={a_1,a_2,\cdots},a_i\in R$

　　1、用分布律描述马尔可夫性

　　对任意的正整数n,r和 $0\le t_1<t_2<\cdots <t_r<m;t_i,m,n+m\in T_i$ ，有：

　　 $P{X_{m+n}=a_j|X_{t_1}=a_{i_1},X_{t_2}=a_{i_2},\cdots,X_{t_r}=a_{i_r},X_m=a_i}$

　　PX_m + n = a_j | X_m = a_i，其中 $a_i\in I$ 。

　　2、转移概率

　　称条件概率P_ij(m,m + n) = PX_m + n = a_j | X_m = a_i为马氏链在时刻m处于状态a_i条件下，在时刻m+n转移到状态a_j的转移概率。

　　说明：转移概率具胡特点：

　　 $\sum_{j=1}^\infty P_{ij}(m,m+n)=1,i=1,2,\cdots$ 。

　　由转移概率组成的矩阵称为马氏链的转移概率矩阵。它是随机矩阵。

　　3、平稳性

　　当转移概率P_ij(m,m + n)只与i,j及时间间距n有关时，称转移概率具有平稳性。同时也称些链是齐次的或时齐的。

　　此时，记P_ij(m,m + n) = P_ij(n),P_ij(n) = PX_m + n = a_j | X_m = a_i(注：称为马氏链的n步转移概率)

　　P(n) = (P_ij(n))为n步转移概率矩阵。

　　特别的, 当 k=1 时,

　　一步转移概率：P_ij = P_ij(1) = PX_{m + 1} = a_j | X_m = a_i。

　　一步转移概率矩阵：P(1)

马尔可夫过程的应用举例

　　设任意相继的两天中，雨天转晴天的概率为1/3，晴天转雨天的概率为1/2，任一天晴或雨是互为逆事件。以0表示晴天状态，以1表示雨天状态，X_n表示第n天状态（0或1）。试定出马氏链 $X_n,n\ge 1$ 的一步转移概率矩阵。又已知5月1日为晴天，问5月3日为晴天，5月5日为雨天的概率各等于多少？

　　解：由于任一天晴或雨是互为逆事件且雨天转晴天的概率为1/3，晴天转雨天的概率为1/2，故一步转移概率和一步转移概率矩阵分别为：

　　 $P{X_n=j|X_{n-1}=i}=\begin{cases}\frac{1}{3},i=1,j=0\\\frac{2}{3},i=1,j=1\\\frac{1}{2},i=0,j=0\\\frac{1}{2},i=0,j=1\end{cases}$

　　故5月1日为晴天，5月3日为晴天的概率为：

　　 $P_{00}(2)=\frac{5}{12}=0.4167$

　　又由于：

　　故5月1日为晴天，5月5日为雨天的概率为：P₀₁(4) = 0.5995

马尔可夫过程

百科名片

马尔可夫过程Markov process

　　1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W. 费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。　　类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。　　关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L. 杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。

离散时间马尔可夫链

　　以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n1<n2<…<nl<m, n>0,i0,i1,i2,…，i(n-1)，i,j∈E，有　　(1)P[x(n)=in|x(0)=i0,x(1)=i1,...,x(n-1)=i(n-1)]=P[x(n)=in|x(n-1)=i(n-1)] 　　(以下n与m的区别请注意!) 　　只要其中条件概率（见概率）有意义。一般地，设E={0，1,…,M}(M为正整数)或E={0,1,2,…},Xn，n≥0为取值于E的随机变量序列,如果(1)式成立，则称{X,n≥0}为马尔可夫链。如果(1)式右方与m无关，则称为齐次马尔可夫链。这时(1)式右方是马尔可夫链从i出发经n步转移到j的概率,称为转移概率，记为。对于马尔可夫链，人们最关心的是它的转移的概率规律,而n步转移矩阵正好描述了链的n步转移规律。由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k,然后再从k出发(与过去无关地)经m步再转移到j，因此有　　这就是柯尔莫哥洛夫－查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如，设0<p<1，q=1-p，则M阶方阵　　为随机矩阵，它刻画的马尔可夫链是一个具有反射壁的随机游动。设想一质点的可能位置是直线上的整数点 0，1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位。如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的i，则它以概率p转移到i+1,以概率q转移到i-1。又如果把P的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当时，称为对称随机游动。　　为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若pij>0，则称i可以直达j，记作i→j,如还有pji>0，则记作i凮j，采用这样的记号，可以用图形表示运动的进程。例如图形　　表示一个马尔可夫链的运动情况,当链处于b1,b2,b3状态时，将永远在{b1,b2,b3}中运动,当链处于α1,α2,α3,α4状态时，将永远在{α1,α2,α3,α4}中运动,而{d1,d2,…}不具有这种性质,因为从d1可一步转移到b1或d2,自d3可到α1或d4，等等。对一般的马尔可夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态,它将永远在C 中转移，C 就称为这个链的闭集。对闭集C，如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集，例如上例中的{b1,b2，b3}。至于{b1,b2,b3,с1,c2}虽然也是闭集,但却是可约的。如果从状态i出发经有限次转移后回到i的概率为1，则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集 E0（如上例中的{d1,d2,…}）和一些由常返状态组成的不可约闭集Eα（如上例中的 {b1,b2, b3},{α1，α2,α3,α4},{с1,c2}）的并。这样，在链的转移中，它或者总是在E0中转移，或者转移到某个常返类Eα中,一旦转移到Eα，它将永远在Eα中转移, 而且不时回到其中的每一个状态。特别，当 E本身是不可约常返闭集时，极限存在,其中0≤r<t，t是0)的最大公约数，即链的周期,与j无关。近20年建立起来的马丁边界理论，更细致地刻画了链在E0中转移的情况。它的主要思想是在链的状态空间E 中引进距离并将E 完备化，使得在这个距离下，Xn 以概率1收敛（见概率论中的收敛）。

连续时间马尔可夫链

　　设E是{0,1,…,M}或{0,1,2，…},{X,t≥0}是一族取值于E的随机变量,如果在(1)式中, 将n1,n2,…,m,n理解为实数,(1)式仍成立,则称{Xt，t≥0}为连续时间马尔可夫链。若还与s≥0无关，记为pij(t)，则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵 P(t)=(pij(t))(i,j∈E,t>0)所刻画。P(t)满足下述条件：①pij(t)≥0，；②柯尔莫哥洛夫-查普曼方程；通常假定：③标准性这里δii=1,δij=0(i≠j)。有时直接称满足①、②、③的一族矩阵P(t)=(pij(t))，t≥0为转移矩阵或马尔可夫链。当①中条件放宽为时,称为广转移矩阵,它有很好的解析性质。例如,每个pij(t)在t>0时具有连续的有穷导数 P拞(t)；在t＝0，右导数P拞(0)存在,i≠j时P拞(0)非负有穷,但P拞(0)可能为无穷。矩阵Q =(qij)呏(P拞(0))称为链的密度矩阵，又称Q矩阵。对于每个齐次马尔可夫链{X,t≥0}, 钟开莱找到一个具有较好轨道性质(右下半连续)的修正{X怂, t≥0}（即对一切t≥0，P(X怂≠Xt)=0, 且对每个轨道对一切t≥0有），而且以概率1，对任意t≥0, s从大于t的一侧趋于t时,X最多只有一个有穷的极限点。　　以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或 Q过程。在一定条件下，Q广转移矩阵P(t),t≥0满足向后微分方程组或者向前微分方程组　　上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是Q矩阵问题或构造问题:给定一个矩阵Q =(qij),满足0qij＜+∞(i≠j),，是否存在Q广转移矩阵?如果存在，何时唯一?如果不唯一，如何求出全部的Q广转移矩阵？对于qii都有限的情形，W.费勒于1940年构造了一个最小解p(t),证明了Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于qii都有限的情形找到了Q 广转移矩阵的唯一性准则；至于求出全部Q 广转移矩阵的问题，仅仅对一些特殊的情形获得解决。对于Q 的对角线元素全为无穷的情形，D.威廉斯曾获得了完满的结果。

生灭过程

　　考察一个群体成员的数目, 在时间的进程中可增可减，假定在时刻t群体有i个成员，在很短的时间间隔(t，t+Δt)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少（当i>0时）一个或保持不变。而增加一个的概率为，减少一个的概率为，保持不变的概率为。(pij(t))的密度矩阵是　　式中α0≥0,b0>0，对一切i>0,αi>0,bi>0。具有上述形状的密度矩阵的齐次马尔可夫链称为生灭过程。　　物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述，因此生灭过程有着广泛的实际应用。不仅如此，生灭过程还有重要的理论研究意义。关于生灭过程的结果已经十分丰富。当α0=0,b0>0时，只有一个生灭过程的充分必要条件是。　　对上述条件不成立的情形，中国学者王梓坤于1958年建立了“极限过渡法”，构造了全部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。此外，甚至对α0≥0，b0>0的情形,或更一般的双边生灭Q矩阵（即为一切整数）的情形,全部Q广转移矩阵也都已构造出来。

一般马尔可夫过程

　　设(E，B)为可测空间，X={X，t≥0}为一族取值于E的随机变量,如果对任意的B，以概率1有　　(2) 　　则称X为马尔可夫过程。　　马尔可夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由, Xs所产生的σ域（见概率）可以扩大为一般的σ域Fs，只要Fs包含由｛X,u≤s｝产生的σ域，而当 s<t时，。如果对任意s≥0，t>0，A∈B，以概率1有　　(3) 　　则称随机过程X={X,t≥0}为马尔可夫过程。第二,可以允许过程有寿命ζ，其中ζ是停时（见随机过程）。这时过程为X={X,t<ζ}。上述定义仍保留，但应作相应的修改，如{X∈As∈A,s<ζ)，(3)应理解为在{s<ζ}上几乎处处成立。　　马尔可夫过程的许多性质可以通过转移函数来表达。转移函数P(s,x,t,A)(0≤s≤t，x∈E,A∈B)是满足某些条件的四元函数，它可以理解为过程在时刻s时处在x，在时刻t 时转移到A中的条件概率。如果P(s,x,t, A)=P(t-s,x,A)只依赖于t-s,x及A,则称转移函数及相应的马尔可夫过程为齐次的。设E是d维欧几里得空间 Rd,B为Rd中的波莱尔域（见概率分布）Bd，而且齐次转移函数满足下面的登金－金尼条件：对任意 ε>0，·。式中Vε(x)={y:｜y-x｜≥ε}，那么可以选取轨道连续的齐次马尔可夫过程X，以p(t，x，A)为转移函数。一类重要的轨道连续马尔可夫过程是 d维布朗运动。

强马尔可夫过程

　　在马尔可夫性的定义中，"现在"是指固定的时刻，但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时（见随机过程）。例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年，才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明，强马尔可夫过程才是马尔可夫过程真正研究的对象。

扩散过程

　　历史上，扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程，但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中，却是按照转移函数来定义扩散过程的。直线上的马尔可夫过程，它有转移函数P(s，x,t,A)，如果对任意ε>0，　　(4) 　　(5) 　　(6) 　　而且上述极限关于x是一致的,则称此过程为一维扩散过程。粗略地说，这些条件刻画了：在很短时间Δt内，位移也是很小的，对指定的正数ε>0，位移超过ε的概率和时间Δt相比可以忽略不计；在偏离不超过 ε的范围内看，平均偏离与Δt成正比，平均方差也与 Δt成正比。称(5)中的α(t,x)为偏移系数,它反映偏离的大小；称(6)中的b(t,x)为扩散系数，它反映扩散的程度。　　设转移函数具有密度函数p(s,x,t,y),则在适当的附加条件下，p(s,x,t,y)满足方程　　(7) 　　(8) 　　(7)和(8)分别称为柯尔莫哥洛夫向前方程和向后方程，也称为福克尔－普朗克方程。如果转移函数是齐次的,则α(s,x)=α(x),b(s,x)=b(x)与s无关，且p(t,x,y)满足　　(9) 　　(10) 　　α和b的某些假定下,可以求上述方程的转移密度解p,从而可以决定一个马尔可夫过程。然而,方程的转移密度解即使存在也未必唯一，因此还要对方程的解附加某些边界条件，以保持解的唯一性。例如，当α(t，x)=0，b(t，x)=2D (常数D>0)时的向前方程，附加边界条件=0的解是　　这是称之为维纳－爱因斯坦过程的扩散过程的转移密度函数。又例如，当α(t,x)=-βx(β >0),b(t,x)=2D >0时的向前方程附加与上例同样的边界条件的解，是称之为奥恩斯坦－乌伦贝克过程的扩散过程的转移密度函数。　　50年代，费勒引进了推广的二阶微分算子，用半群方法解析地研究了状态空间E =【r1,r2】的扩散过程，解决了在r1和r2 处应附加哪些边界条件,才能使向后方程(10)有一个且只有一个转移密度函数解的问题，而且找出了全部这样的边界条件。对于 E是开区间或半开半闭区间的情形也作了研究。登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道的研究，阐明了费勒的结果的概率意义，从而使一维扩散过程有了较完整的理论。　　多维扩散过程是和一个椭圆型偏微分算子联系在一起的，它还有许多未解决的问题，但核心问题之一是多维扩散过程的存在性和唯一性问题；借助于偏微分方程和概率论方法已经得到一些结果。有趣的是，概率论得到的结果反过来也可以解决微分方程的求解问题，例如，可以把方程的解用一个马尔可夫过程表现出来。　　近年来，人们重视从轨道变化的角度来研究扩散过程。常用的方法是随机微分方程和鞅问题的求解。流形上的扩散过程理论是近十年来日益受人们重视的新领域，它是用随机微分方程研究扩散过程的必然延伸。　　马尔可夫过程与位势理论在空间中给定一个向量场,如果存在一个函数u使得它的负梯度就是给定的向量场，这个函数就是位势。高斯在研究电荷分布时提出了古典位势理论。例如，在空间R3的某物体S 中给定了一个电荷分布μ，那么空间点x处的电位势为　　(11) 　　一般地，对于空间R3中的测度μ(通常假定具有支撑S )，　　(12) 　　称为测度μ的牛顿位势。如果不计常数因子的差别，则u可以用三维布朗运动的转移密度函数p(t,x,y)表现出来：　　(13) 　　如果假定μ关于勒贝格测度有密度函数?,则u还可以通过三维布朗运动{X,t≥0}表现出来：　　(14) 　　式中Ex表示对从x出发的布朗运动取数学期望。再以和位势理论紧密联系的狄利克雷问题为例，它的解也可以用布朗运动来表述。由此可见,布朗运动与古典位势之间存在着自然的对应关系。这种对应关系也存在于亨特过程和近代位势理论之间。亨特过程就是轨道右连续且拟左连续的强马尔可夫过程。所谓拟左连续，即对任何停时序列τn↑τ，在(τ<+∞)上，以概率1有　　(15) 　　马尔可夫过程的位势理论主要有三个问题：狄利克雷问题、扫问题和平衡问题。对于布朗运动，这三个问题都得到了很好的解决。

马尔科夫预测法

马尔科夫是俄国伟大的数学家。马尔科夫链是人类历史上第一个从理论上提出并加以研究的随机过程模型。马尔科夫预测法是应用马尔科夫链的基本原理和基本方法研究分析时间序列的变化规律，并预测其未来变化趋势的一种方法。这种方法在经济预测与经济经营决策等方面有着广泛的应用。

一　随机过程

在自然界和人类社会中，事物的变化过程可分为两类:一类是确定性变化过程；另一类是不确定性变化过程。确定性变化过程是指事物的变化是由时间唯一确定的，或者说，对给定的时间，人们事先能够确切地知道事物变化的结果。因此，变化过程可用时间的函数来描述。不确定性变化过程是指对给定的时间，事物变化的结果不止一个，事先人们不能肯定哪个结果一定发生，即事物的变化具有随机性。这样的变化过程称为随机过程。

由于随机变量与时间参数都有连续与离散之分，所以随机过程又可分为4类：

1、连续型随机过程：随机变量与时间都是连续的。

2、离散型随机过程：随机变量是离散的，时间是连续的。

（过程中时间是连续的-------随机过程，连续与离散针对随机变量）

3、连续随机序列------随机变量是连续的，时间是离散的。

4、离散随机序列------随机变量与时间都是离散的。

（过程中时间是离散的-------随机序列，连续与离散针对随机变量）

　　彩票各项（参数）数据统计，都属于离散随机序列。

二　马尔科夫链

离散随机序列也称时间序列。即随机变量与时间都是离散的。随机变量（状态空间）个数n是有限的，一般地，2≤n＜10,不妨设定其为一个集合。时间的离散，如第一天，第二天……或第一期，第二期…. 一般地，时间是整数，或说是序数。

马尔科夫链是指具有无后效性的时间序列。所谓无后效性是指序列将来处于什么状态只与它现在所处的状态有关，而与它过去处于什么状态无关。简单说，现在影响将来。时间序列中t时刻的状态i影响到t+1时刻出现的状态j，确切地说，t时刻的状态，在t+1时刻可以转移到状态空间中其中某一状态，包括自身，（ｉ＝ｊ或ｉ≠ｊ），因此，就必须考虑t时刻的状态，向状态空间中各个状态转移的可能性，即状态转移概率问题。与ｔ时刻之前所处的状态无关。

三　一步转移概率矩阵

t时刻到t+1时刻，是ｔ的下一个时刻，状态变化表现为状态一步转移，之前之后时间的形式是离散的。且随机变量（状态空间）也是离散的。

从概率论，随机变量（随机事件）n个是有限。t+1时刻这事件组有一个且只有一个能够出现。即事件组的概率向量p₁₁ p₁₂…p_1n；p₂₁ p₂₂… p_2n；…… p_n1 p_n₂… p_nn每个事件概率向量之和等于1。用p_ij表示t时刻z_t处于状态i的条件下，t+1时刻z_t+1处于状态j条件概率。事件组的概率向量所构成n阶方阵，为一步转移概率矩阵，P=(p_ij)_n_×n。有限事件的马尔科夫链。马尔科夫链，描述了t时刻i状态，向t+1时刻系统内各个状态转移的可能性。

p₁₁ p₁₂… p_1n

P=(p_ij) _n_×n= p₂₁ p₂₂… p_2n

p_n1 p_n₂… p_nn

P=(p_ij)_n_×n是随机矩阵，是非负矩阵中的一类。一步转移概率矩阵P=(p_ij)_n_×n描述了t时刻系统内各个状态，到t+1时刻系统内各个状态的变化规律性。

四、K步转移矩阵

由全概率公式及矩阵的乘法，可以得到转移矩阵P和K步转移矩阵P(K)的关系：

P(K)=P^{K K=1,2,,3……}

一般地，运用二步转移矩阵P²=P×P，在时间序列中可以得到状态转移矩阵（一步转移矩阵P）。

五、模糊综合评定模型

在状态时间序列中，一定量的样本，所得到其状态转移矩阵。统计量（样本数）与状态的个数有关，一般地，状态有n个，样本数为2n。比如状态有5个，样本数为10 。得到一步转移矩阵P，运用二步转移矩阵P²=P×P，得到t时刻的状态转移向量（t时刻的状态向其他状态转移的概率）。考虑到受不确定性因素的影响，特别是统计量的因素，造成偏差。因此采用多级统计就有n级统计量量的方法去消除。有n个状态，就有n级统计量，级统计量为（n+1）n。

比如状态有5个，就有5级统计量。样本数分别为10，15，20，25，30。得到一步转移矩阵P，运用二步转移矩阵P²=P×P，取X状态一列（向量）。因此分别得到t时刻的状态X转移向量A1,A2,A3,A4,A5。则5个向量构成的矩阵P^X，就是状态X转移模糊综合模型。

在状态研究时，已知各个状态的比例关系，也就是各个状态的权重，构成权重向量W。模糊综合评定模型A=W×P^X。为此，得出X状态向其他状态转移的概率，确定转移的状态是概率值最大（max）的状态。基于极端情况也需考虑概率最小（min）的状态。

马尔可夫链模型概述

　　马尔可夫链因安德烈·马尔可夫（Andrey Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。

　　时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为 ${X_n=X(n),n=0,1,2,\cdots}$ 。

　　马尔可夫链是随机变量 $X_1,X_2,X_3\cdots$ 的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则

　　 $P(X_{n+1}=x|X_0,X_1,X_2,\cdots,X_n)=P(X_{n+1}=x|X_n)$

　　这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。

　　马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。

　　马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。

　　马尔可夫链是满足下面两个假设的一种随机过程：

　　1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；

　　2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下：

　　1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或S_i,S_j)等来表示状态。

　　2） $P=[P_{ij}]_{n\times n}$ 是系统的状态转移概率矩阵，其中P_ij表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态的个数。对于任意i∈s，有 $\sum_{j=1}^NP_{ij}=l$ 。

　　3） $Q=[q_1,q_2\cdots q_n]$ 是系统的初始概率分布，q_i是系统在初始时刻处于状态i的概率，满足 $\sum_{i=1}^Nq_i=1$ 。

马尔可夫链模型的性质

　　马尔可夫链是由一个条件分布来表示的

　　P(X_{n + 1} | X_n)

　　这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：

　　 $P(X_{n+2}|X_n) = \int P(X_{n+2},X_{n+1}|X_n)dX_{n+1} = \int P(X_{n+2}|X_{n+1})P(X_{n+1}|X_n)dX_{n+1}$

　　同样：

　　 $P(X_{n+3}|X_n) = \int P(X_{n+3}|X_{n+2}) \int P(X_{n+2}|X_{n+1})P(X_{n+1}|X_n)dX_{n+1}dX_{n+2}$

　　这些式子可以通过乘以转移概率并求k−1次积分来一般化到任意的将来时间n+k。

　　边际分布P(X_n)是在时间为n时的状态的分布。初始分布为P(X₀)。该过程的变化可以用以下的一个时间步幅来描述：

　　 $P(X_{n+1}) = \int P(X_{n+1}|X_n)P(X_n)dX_n$

　　这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足：

　　 $\pi(X) = \int P(X|Y)\pi(Y)dY$

　　其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征根为1的条件分布函数的特征方程。

　　平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。

离散状态空间中的马尔可夫链模型

　　如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”：

　　P_ij = P(X_{n + 1} = i | X_n = j)

　　对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果 $\mathbf{P}$ 是一步转移矩阵， $\mathbf{P}^k$ 就是k步转移后的转移矩阵。

　　平稳分布是一个满足以下方程的向量：

　　 $\mathbf{P}\pi^* = \pi^*$

　　在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量。

　　如果转移矩阵 $\mathbf{P}$ 不可约，并且是非周期的，则 $\mathbf{P}^k$ 收敛到一个每一列都是不同的平稳分布π ^*，并且，

　　 $\lim_{k\rightarrow\infty}\mathbf{P}^k\pi=\pi^*$

　　独立于初始分布π。这是由Perron-Frobenius theorem所指出的。

　　正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。

　　注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。

　　转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为贝努利过程

马尔可夫链模型的应用

科学中的应用

　　马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。

　　马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。

人力资源中的应用

　　马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性，即调动的概率。该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。

　　它的基本思想是：通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。

　　具体做法是：将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘，然后纵向相加，即得到组织内部未来劳动力的净供给量。其基本表达式为：

　　 $N_i(t)=\sum_{j=1}^k*P_{ij}+V_i(t)$

N_i(t)：t时间内I类人员数量；

P_ji：人员从j类向I类转移的转移率；

V_i(t)：在时间（t-1,t）I类所补充的人员数。

　　企业人员的变动有调出、调入、平调、晋升与降级五种。表3 假设一家零售公司在1999至2000年间各类人员的变动情况。年初商店经理有12人，在当年期间平均90％的商店经理仍在商店内，10％的商店经理离职，期初36位经理助理有 11％晋升到经理，83％留在原来的职务，6％离职；如果人员的变动频率是相对稳定的，那么在2000年留在经理职位上有11人（12×90％），另外，经理助理中有4人（36×83％）晋升到经理职位，最后经理的总数是15人（11＋4）。可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时期的预测结果。假设的零售公司的马尔可夫分析，见下表：

1999~2000	商店经理	经理助理	区域经理	部门经理	销售员	离职
商店经理 (n=12)	90% 11					10% 1
经理助理 (n=36)	11% 4	83% 30				6% 2
区域经理 (n=96)		11% 11	66% 63	8% 8		15% 14
部门经理 (=288)			10% 29	72% 207	2% 6	16% 46
销售员 (=1440)				6% 86	74% 1066	25% 228
供给预测	15	41	92	301	1072	351

马尔可夫模型案例分析^[1]

　　案例：在信用卡账户行为变化预测中的应用

　　信用卡业务是商业银行的零售业务,信用卡的消费金额是银行的应收账款.在此,我们可以借鉴零售行业应收账款状态变化的预测方法对信用卡账户的行为变化进行描述和预测。

　　对信用卡账户的马尔可夫过程进行研究,主要解决新增贷款发生周期性变化的情况下利用马尔可夫过程预测不同时刻的信用卡账户各状态下的金额、已偿付态和坏帐态的金额、全部应收款的现值及它们的方差计算等内容,以为商业银行信用卡账户的行为风险管理提供方法依据。

马尔可夫模型的建立

　　马尔可夫状态转移模型是在满足“马氏性”和“平稳性”的基础上建立的.假定银行的信用卡账户中每期处于不同期限的逾期贷款数量只与上期逾期贷款的数量与结构有关,而与前期的状态无关,这就满足了“马氏性”。同时,在外部经济环境稳定、人口特征比较稳定、银行的信用卡管理技术和方法没有发生重大变化的情况下,可以认为逾期贷款由一种状态转移到另一种状态的概率在各期是保持不变的,即每年的转移概率矩阵基本保持稳定,满足了马氏链的“平稳性”要求.这样,银行就可以通过往年的数据资料模拟出比较精确的转移概率矩阵,对信用卡账户的行为状态做出预测和评估,下面给出具体分析。

　　假设某一银行在时间i有一定的信用卡应收账款,当前或者随后的时间内这些余额都可以划分为n个时间段(即状态。对于这批在时间i的应收账款而言,有:

　　B₀=逾期为0期的应收账款余额(也就是当前期);

　　B₁ = 逾期为1期的应收账款余额;

　　…

　　B_j = 逾期为j期的应收账款余额;

　　…

　　B_{n − 1} = 逾期为n-1期的应收账款余额;

　　B_n = 逾期为n期的应收账款余额。

　　实践中,时间段的数目将视情况而定,最后一个时间段主要依赖于银行应收账款的“冲销”原则,美国的信用卡贷款一般拖欠180天以上即成为呆账予以“冲销”.虽然拖欠账款最终也可能得到偿还,但是将超过规定还款期限的应收账款归入坏帐种类中是很自然的会计程序。

　　一般而言,我们可以让Bjk表示从i时刻处于j状态转移到i+1时刻处于k状态的账户的金额.用这种方法,我们可以对处于i时刻的所有应收账款做出在i+1时刻的一步转移账户.需要注意的是,还应该有一个“时间”状态应该加入到先前所描述的分类中,这一状态就是已付款状态,用 $\overline{0}$ 表示.在i时刻任何一种分类状态从0到n的账户在i+1时刻都可以转移到状态 $\overline{0}$ .这样,i时刻的应收账款账户可以用一个n+2维矩阵来表示,矩阵中的每一项Bjk表示i时刻j状态转移为i+1时刻k状态的金额,如下所示:

　　 $B=\begin{bmatrix}B_{\overline{00}}&\cdots & B_{\overline{0}k}& \cdots & B_{\overline{0}n} \\ \bullet& &\bullet& &\bullet \\B_{j\overline{0}} &\cdots & B_{jk} & \cdots & B_{jn} \\ \bullet & &\bullet & &\bullet \\ B_{n\overline{0}} &\cdots & B_{nk} &\cdots & B_{nn}\end{bmatrix}$

　　对信用卡账户而言,需要注意的是,当状态B_jk中的j<i时,应理解为i时刻处于状态j的账户,在随后的i+1时刻(一般为30天后)偿还了部分的利息,使得应收账款(贷款)又转变为k状态。

　　从n+2维应收账款矩阵B可以导出n+2维转移概率矩阵P.转移概率矩阵P中的每一项目表示在特定时间内某一账户由一种状态转移到另一状态的可能性.这样的话,一个隐含假设是,转移概率矩阵的考察周期和应收账款分类的考察周期是相同的.一般情况下,转移概率P_jk表示的是i时刻j状态的账款转移到i+1时刻k状态账款的可能性.根据应收账款矩阵B及B_jk,转移概率P_jk可被定义为:

　　 $P_{jk}=\frac{B_{jk}}{{\sum^n_{\overline{0}}B_{jk}}'}$ 　　 $(k=\overline{0},0,1,\cdots,n)$ 　　(1)

　　在应用转移概率矩阵时需要注意两点。一是 $\overline{0}$ 状态的账款不可能转移到其它的状态,它只能停留在已付款状态, $\overline{0}$ 状态账户的转移概率依次为: $p_{\overline{00}}=1.00$ , $p_{\overline{0}0}=0$ , $p_{\overline{0}1}=0$ ,…, $p_{\overline{0}k}=0$ ,…, $p_{\overline{0}n}=0$ 。二是呆账类账户的状态,虽然有时候坏呆账类账款仍能收回现金,但在我们的模型里边假设呆账类账款只能停留在呆账类的状态,即: $p_{n\overline{0}}=0$ ,p_n0 = 0,p_n1 = 0,…,p_nn = 1.00。

　　上面描述的模型可以被看作一个有n+2个状态的马尔可夫链过程,其转移概率矩阵为P.而且,它有两个吸收态(偿付态0和呆账态n),从其他任何一个暂态(非吸收态)都可以到达这两个吸收态,因此它是一个具有两个吸收态的马尔可夫链.我们将在充分利用马尔可夫理论和已有研究的基础上,研究如何利用马尔可夫链方法预测和估计信用卡账户行为的变化。

马尔可夫模型的应用

　　在此,采用Kemeny和Snell的部分研究成果.为便于计算,将n+2维转移概率方阵重新排列,将吸收态的偿付态和呆账态放在一起,将另外的暂态0,1,2,…,n-1放在一起.这样矩阵P就可以被分割为:

　　 $P=\begin{bmatrix} I & O \\ R & Q \end{bmatrix}$

　　其中I是一个2×2阶单位矩阵,O是一个2×n阶0矩阵,R是一个n×2阶矩阵,Q是一个n×n阶矩阵.其中,我们定义矩阵:

　　 $N=(1-Q)^{-1}=I+Q+Q^2+Q^3+\cdots +Q^k+\cdots$

　　一定存在,并将其称为吸收态马尔可夫链的基本矩阵

　　对于n×2阶矩阵的所有分项,N R给出了每一状态转移到吸收态 $\overline{0}$ 和n的吸收概率.NR中的第一列给出了每一个状态转移到已偿付状态的概率,第二列给出了每一个状态下转移到呆账的概率。

　　1.无新增贷款的情况

　　假设在时刻i,具有n个分项向量的 $B_i=(B_{i0},B_{i1},\cdots,B_{in-1})$ 给出来每一状态下应收账款的余额.让b等于所有这些余额之和,则向量 $\pi=(\frac{1}{b})B$ 是一个没有非负分量且全部之和为1的概率向量,向量的分量代表了每一状态下应收账款的比例.如果我们假设上述状态中的余额的移动是独立的,那么我们就可以认定向量π为马尔可夫链的初始向量.另外,还假定:如果A是任一矩阵,那么我们让A_sq表示A中每一项平方后的结果;让A_rt表示A中每一项取平方根后的结果.则有如下结论:

　　结论1

　　二维向量BNR中的分量可以给出来自应收账款向量B的期望还款和坏帐金额;分量给出来偿还态和呆帐态的方差,A_rt给出了这两种状态的标准差。

　　 $A=b\begin{bmatrix}\pi N R-(\pi N R)_{sq}\end{bmatrix}$ （2）

　　证明　如上所述,矩阵NR中第一列的分量给出来应收账款从每一暂态转移到吸收态(偿付态)的概率.向量 $\pi=(\frac{1}{b})B$ 的分量给出了每次过程开始时账款转移到每一暂态的初始概率.因此,账款在最终时偿付态的概率可以由向量πNR的第一列分量给出.如果这一过程开始了b次,那么在最终时偿付态的平均数就是向量bπNR = BNR的第一列分量.向量πNR的第一分量是函数f的平均值,其中f表示在最终结束时偿付态的价值为全部价值,其它状态的价值为零.这一函数的方差可以由下式的第一分量给出:

　　 $V(f)=M(f^2)-\begin{bmatrix} M(f)\end{bmatrix}^2$

　　因为f² = f,所以M(f²) = M(f),因此f的方差可以由πNR − (πNR)_sq的第一分量给出.如果过程开始了b次,那么偿付态的全部金额的方差可以由 $A=b\begin{bmatrix}\pi N R-(\pi N R)_{sq}\end{bmatrix}$ 的第一分量给出.有关呆帐态的分析与偿付态的分析类似。

　　此外，还可以对应收账款现值的计算进行了研究. 如果 r是利率,则 $\beta=\frac{1}{(1+r)}$ 就表示了贴现率,应收账款现值的计算就可以由下面的计算给出。

　　假定B是应收账款向量,R₁是矩阵R的第一列分量,则BR₁表示当前时期的收现额;从下一期的BQR₁的价值就只有BBQR1;依此类推,在(k+1)周期时BQ^kR₁的价值就只有Β^kBQ^kR₁.将这些折现价值加在一起就可以得到应收账款的当前现值:

　　 $B R_1+\beta B Q R_1+\cdots+\beta^k B Q^k R_1+\cdots =B\begin{bmatrix} I+\beta Q+\cdots+\beta^k Q^k+\cdots\end{bmatrix}R_1=B N_\beta R_1$ ,其中的N_β表示 $I+\beta Q+\cdots+\beta^k Q^k+\cdots$ 。

　　在实践当中,银行一般都要对信用卡客户收取一定的年费,假定银行对客户收取b的费率,则β = 1 + b,那么完全可以利用上述公式来计算应收账款的现值.当然,如果考虑利率和年费率两种因素的话,将会有一个净折扣率或者一个费用率。

　　2.新增贷款固定不变的情况

　　假设每期又发生了金额为c的新应收款,这些新应收款被分不在不同的状态下,构成了向量C的各分量组成,即: $C=(C_0,C_1,\cdots,C_{n-1})$ .定义向量 $\eta=(\frac{1}{c})C$ ,则η为概率向量并且被认为是马尔可夫链的初始向量.假设,马尔可夫过程每期以初始概率η开始了c次.那么应收账款的稳定态分布会怎么样,这些账户的方差又是多少?每期期望付款和呆账的数量以及它们的期望方差又怎么样?

　　结论2

　　如果马尔可夫过程每期以初始概率η开始了c次,则向量CN的分量给出来所有时刻下稳定的应收账款金额,数值CNξ给出了稳定态的全部应收账款金额,其中ξ是各项为1的n维列向量.二维向量CNR给出来每期偿付款和呆账的稳定态的金额。

　　证明　如果上述马尔可夫过程进行了许多个周期,则各状态的金额由当前η一个月前的ηQ、二个月前的ηQ²,等等组成.那么这些数量之和为:

　　 $\eta+\eta Q^2+\eta Q^3+\cdots=\eta(I+Q+Q^2+Q^3+\cdots)=\eta N$

　　如果这个过程每周期开始了c次,每一状态下的应收账款可以由向量cηN = CN表示.如果ξ是一个各项为1的列向量,则CNξ是向量CN的分量之和,代表了应收账款的全部账户余额.

　　如果上述过程进行了很多周期,将会有ηR的账款从第一期的新收款中转移到吸收态,将有ηQR的账款从接下来的一期的新收款中转移到吸收态,将有ηQ²R的账款从过期两个月的新收款中转移到吸收态,依此类推,那么所有这些之和为:

　　 $\eta R+\eta Q^2R+\eta Q^3 R+\cdots=\eta(I+Q+Q^2+Q^3+\cdots)R=\eta NR$

　　如果这一过程开始了c次,每期稳定态的偿付款和呆账将有cηNR = CNR给出。证明完毕。

　　综合定理1和定理2,我们能够得出一下推论.让t = CNξ, $\pi=(\frac{1}{t})CN$ ;那么CN₂R和 $t\begin{bmatrix}\pi NR-(\pi NR)_{sq}\end{bmatrix}$ 是偿付款和呆账的预测均值和方差.而且,可以根据对应收款的利率和费率来计算应收账款的现值。

　　3.新增贷款发生周期性变化的情况

　　上述讨论都没有考虑应收账款发生变化的情况,然而,在现实情况下,银行的信用卡消费呈现出一定的周期性,例如在春节、国庆节和秋季开学的时候消费比较高. 除此之外,商业银行每年的消费贷款也可能因为经济增长或萧条等原因而扩张或收缩. 因此,我们需要考虑这些因素对模型的一些影响.

　　具体来讲,让C_i是给定月份i的新应收款的向量; c_i是全部应收款的金额; η = (1 / c_i)C_i是第 i时刻的初始向量,假设:

　　η_i − T = (η_i)　　　(3)

　　C_i − T = αC_i　　　(4)

　　其中α是增长系数的倒数,例如某一贷款机构的信用卡业务以2%的年增长率扩张则α = 1 / (1 + 0.02) = 1 / 1.02T 为循环周期的长度,一般情况下周期T = 12. 从上面的两个式子里边我们可以推出c_i − T = αc_i

　　结论3

　　让N_α = (I − αQ^T) ^{− 1},那么下列式子:

　　 $A_i= \left[\sum^{r-1}_{k=0}C_{i-k}Q^k\right]N_{\alpha}$ 　　(5)

　　 $\alpha_ii=\left[\sum^{t-1}_{k=0}C_{i-k}Q^k\right]N_{\alpha} \xi$ 　　(6)

　　 $D_i=\left[\sum^{t-1}_{k=0}C_{i-k}Q^k\right]N_{\alpha}R$ 　　(7)

　　给出了 i时刻不同状态下的金额、全部应收账款、以及吸收态的金额.

　　证明　让 $C_i,C_{i-1},\cdots,C_{i-T+1}$ 是第i月份及其之前T-1月的真实新收款. 在知道增长率的情况下,根据(4)式能够推出以前月份的所有应收款,其中第i月份不同状态的应收款是

　　C_i;第(i-1)月份的是C_{i − 1}Q;第(i-2) 月份的是C_{i − 2}Q²,等等; 第(i-T+1) 月份的是

　　C_{i − T + 1}Q^{T − 1};第(i-T )月份的是C_iQ^T(C_i − T = αC_i),等等. 将这些向量加总后如下:

　　 $A_i= C_i+ C_{i-1}Q+C_{i-2}Q^2+\cdots+C_{i-T+1}Q^{T-1}+\alpha C_iQ^T+\alpha C_{i-1}Q^{T+1}+\cdots+\alpha C_{i-T+1}Q^{2T-1}+\alpha^{2}C_iQ^{2T}+\alpha C_{i-1}Q^{2T+1}+\cdots + \alpha C_{i-T+1}Q^{3T-1}+\cdots$

　　 $=C_i(I+\alpha Q^T+\alpha^2Q^{2T}+\cdots) + C_{i-1}Q(I+\alpha Q^T+\alpha^2Q^{2T}+\cdots)+\cdots + C_{i-T+1}Q^{T+1}(I+\alpha Q^T+\alpha^2Q^{2T}+\cdots)$

　　 $= [C_i+C_{i-1}Q+C_{i-2}Q^2+\cdots + C_{i-T+1}Q^{T-1}]N_{\alpha}$

　　这就是A_i,α_i和D_i的证明与A_i类似.

　　当然,对于 i时刻的这些估计依赖于第 i月及其前T - 1月的新增应收款,上面给出的估计结果比结论2给出的结果更准确一些. 当然,如果Qⁿ快速趋于0,则用过去几个月的应收账款来估计一个合理的结果也是可以的.

　　根据结论1和结论3的结论,我们可以用A_iNR和 $\alpha_i\left[\tau_iN R- (\tau_iN R)_{sq}\right]$ ,其中α_i = A_iξ、τ_i= (1 / alpha_i)A_i来估计 i时刻偿付款和呆帐的均值和方差,而且也可以用A_iN_βR₁用来估计 i时刻应收账款的现值.

参考文献

↑ 任金政陈宝峰庄传礼.马尔可夫链模型在信用卡账户行为变化预测中的应用.数学的实践与认识.2008年5月第9期第38卷

马尔科夫预测

　　1.1.基本概念　　1.1.1 随机变量、随机函数与随机过程　　一变量x，能随机地取数据（但不能准确地预言它取何值），而对于每一个数值或某一个范围内的值有一定的概率，那么称x为随机变量。　　假定随机变量的可能值xi发生概率为Pi，即P(x = xi) = Pi，对于xi的所有n个可能值，有离散型随机变量分布列： ∑Pi = 1 对于连续型随机变量，有 ∫P(x)dx = 1 　　在试验过程中，随机变量可能随某一参数（不一定是时间）的变化而变化. 　　如测量大气中空气温度变化x = x(h),随高度变化。这种随参变量而变化的随机变量称为随机函数。而以时间t作参变量的随机函数称为随机过程。也就是说：随机过程是这样一个函数，在每次试验结果中，它以一定的概率取某一个确定的，但预先未知的时间函数。　　1.1.2 马尔科夫过程　　随机过程中，有一类具有“无后效性性质”，即当随机过程在某一时刻to所处的状态已知的条件下，过程在时刻t>to时所处的状态只和to时刻有关，而与to以前的状态无关，则这种随机过程称为马尔科夫过程。即是：ito为确知,it(t>to)只与ito有关，这种性质为无后效性，又叫马尔科夫假设。　　简例：设x(t)为大米在粮仓中t月末的库存量，则　　x(t) = x(t―1)—y(t) +G(t) 　　x(t)可看作一个马尔科夫过程。　　1.1.3 马尔科夫链　　时间和状态都是离散的马尔科夫过程称为马尔科夫链。例：蛙跳问题　　假定池中有N张荷叶，编号为1，2，3,……,N，即蛙跳可能有N个状态（状态确知且离散）。青蛙所属荷叶，为它目前所处的状态；因此它未来的状态，只与现在所处状态有关，而与以前的状态无关（无后效性成立）　　写成数学表达式为：　　P( xt+1 = j | xt = it , xt-1 = it―1,……x1 = i1) 　　=P( xt+1 = j | xt = it ) 　　定义：Pij = P( xt+1 = j | xt = i) 　　即在xt = i的条件下，使 xt+1 = j的条件概率，是从 i状态一步转移到j状态的概率，因此它又称一步状态转移概率。由状态转移图，由于共有N个状态，所以有　　1.2 状态转移矩阵　　1.2. 1 一步状态转移矩阵　　系统有N个状态，描述各种状态下向其他状态转移的概率矩阵　　P11 P12 …… P1N 　　定义为 P = P21 P22 …… P2N 　　: : : 　　PN1 PN2 …… PNN 　　这是一个N阶方阵，满足概率矩阵性质　　1） Pij ≥ 0,i,j = 1,2, ……, N 非负性性质　　2） ∑ Pij = 1 行元素和为1 ,i=1,2,…N 　　如： W1 = [1/4, 1/4, 1/2, 0] 概率向量　　W2 = [1/3, 0, 2/3] 　　W3 = [1/4, 1/4, 1/4, 1/2] 非概率向量　　W4 = [1/3, 1/3, -1/3,0, 2/3] 　　3）若A和B分别为概率矩阵时，则AB为概率矩阵。　　1.2.2 稳定性假设　　若系统的一步状态转移概率不随时间变化，即转移矩阵在各个时刻都相同，称该系统是稳定的。这个假设称为稳定性假设。蛙跳问题属于此类，后面的讨论均假定满足稳定性条件。　　1.2.3 k步状态转移矩阵　　经过k步转移由状态i转移到状态j的概率记为　　P(xt+k =j | xt = i) = Pij(k) 　　i,j = 1,2, ……, N 　　定义：k步状态转移矩阵为：　　P11(k) P12(k) …… P1N(k) 　　P [k] = : : : 　　PN1(k) PN2(k) …… PNN (k) 　　当系统满足稳定性假设时　　P[k] = Pk = P• P• …… P 　　其中P为一步状态转移矩阵。　　即当系统满足稳定性假设时，k步状态转移矩阵为一步状态转移矩阵的k次方. 　　例：设系统状态为N = 3，求从状态1转移到状态2的　　二步状态转移概率. 　　解：作状态转移图　　解法一：由状态转移图：　　1—— 1—— 2: P11 • P12 　　1—— 2—— 2: P12 • P22 　　1—— 3—— 2: P13 • P32 　　P12 = P11 • P12 + P12 • P22 +P13 • P32 　　=∑ P1i • Pi2 　　解法二： k = 2, N = 3 　　P11(2) P12 (2) P13(2) 　　P = P21(2) P22 (2) P23(2) 　　P31(2) P32(2) P33(2) 　　P11 P12 P13 P11 P12 P13 　　= P•P = P21 P22 P23 P21 P22 P23 　　P31 P32 P33 P31 P32 P33 　　得： P12(2) = P11 • P12 + P12 • P22 +P13 • P32 　　=∑ P1i • Pi2 　　1.3 稳态概率：用于解决长期趋势预测问题　　即：当转移步数的不断增加时，转移概率矩阵 P 的变化趋势。　　1.3. 1 正规概率矩阵。　　定义：若一个概率矩阵P，存在着某一个正整数m,使P 的所有元素均为正数（Pij >o），则该矩阵称为正规概率矩阵　　例： 1/2 1/4 1/4 　　P = 1/3 1/3 1/3 为正规概率矩阵　　2/5 1/5 2/5 　　0 1 P11 = 0 　　P= 　　1/2 1/2 1/2 1/2 　　但当 m = 2，有 P2= 1/4 1/4 有Pij >0 　　它也是正规概率矩阵。（P2 每个元素均为正数）　　1 0 　　但 P= 就找不到一个正数m,使P 的每一个元素均大于0，所以它　　0 1 不是正规概率矩阵。　　1.3.2 固定概率向量（特征概率向量）　　设 P为NN概率矩阵,若U = [U1, U2,…, UN]为概率向量,且满足UP = U,称U为P的固定概率向量　　例 0 1 　　P= 　　1/2 1/2 为概率矩阵　　P的固定概率向量 U = [ 1/3 , 2/3] 　　检验 UP = [1/3 2/3] 0 1 　　1/2 1/2 　　=[1/3 2/3] 　　1.3.3 正规概率矩阵的性质　　（1）设P为NXN正规概率矩阵，则　　A .P有且只有一个固定概率向量　　U = [U1,U2, …… UN] 　　且U的所有元素均为正数 Ui > 0 　　B.NXN方阵P的各次方组成序列 P, P, P, …… ,P 趋于方阵T，且T的每一个行向量都是固定概率向量U。　　即 U1 U2 …… UN U 　　lim Pk= T = : : : = : 　　U1 U2 …… UN U 　　这个方阵T称稳态概率矩阵。　　这个定理说明：无论系统现在处于何种状态，在经过足够多的状态转移之后，均达到一个稳态。因此，欲求长期转移概率矩阵，即进行长期状态预测，只要求出稳态概率矩阵T；而T的每个行向量都是固定概率向量，所以只须求出固定概率向量U就行了 ! 　　（2）设X为任意概率向量，则XT = U 　　即任意概率向量与稳态概率矩阵之点积为固定概率向量。　　事实上： U1 U2 …… UN 　　XT = X• : : : = [U1∑Xi U1∑Xi …… U1∑Xi ] 　　U1 U2 …… UN 　　= [U1 U2 …… UN ] 　　= U 　　例：若 0.4 0.3 0.3 　　P = 0.6 0.3 0.1 求T 　　0.6 0.1 0.3 　　解：设 U = [U1 U2 U3] = [U1 U2 1－U1－U2] 　　由 UP = U 有　　0.4 0.3 0.3 　　[U1 U2 1－U1－U2] 0.6 0.3 0.1 = [U1 U2 U3] 　　0.6 0.1 0.3 　　即 -0.2U1 + 0.6 = U1 → U1 = 0.5 　　0.2U1 + 0.2U2 + 0.1 =U2 → U2 = 0.25 　　-0.2U2 + 0.3 = U3 → U3 = 0.25 　　∴ U = [0.5 0.25 0.25] 　　0.5 0.25 0.25 　　则 T = 0.5 0.25 0.25 　　0.5 0.25 0.25 　　说明：　　不管系统的初始状态如何，当系统运行时间较长时，转移到各个状态的概率都相等。（列向量各元素相等）　　即各状态转移到1状态都为0.5; 　　2状态都为0.25 ; 　　3状态都为0.25 　　1.2市场占有率预测　　1.2.1短期市场占有率预测　　商品在市场上参与竞争，都拥有顾客，并由此而产生销售，事实上，同一商品在某一地区所有的N个商家（或不同品牌的N个同类产品）都拥有各自的顾客，产生各自销售额，于是产生了市场占有率定义：　　设某一确定市场某商品有N个不同品牌（或N个商家）投入销售，第i个商家在第j期的市场占有率　　Si(j) = xi(j)/x i =1,2, …… N 　　其中 xi(j)为第i个商家在第j期的销售额（或拥有顾客数）　　x为同类产品在市场上总销售额（或顾客数）　　市场占有率所需数据可通过顾客抽样调查得到。　　一般地,首先考虑初始条件,设当前状态（即j = 0 ）　　为 S(0) = [S1(0) S2(0) …… SN(0)] 　　第i个商家 Si(0) = xi(0)/x → xi(0) = Si(0) x 　　即当前第i个商家市场占有率与初始市场占有率及市场总量有关. 　　同时假定满足无后效性及稳定性假设. 　　由于销售商品的流通性质,有第i个商家第j期销售状况为　　xi(k) = x1(0)P1i(k) + x2(0)P2i(k)+ ……+ xN(0)PNi(k) 　　= xS1(0)P1i(k) +xS2(0)P2i(k) + ……+ xSN(0)PNi(k) 　　P1i(k) 　　= x[S1(0) S2(0) ……SN(0)] P2i(k) 　　: 　　PNi(k) 　　有：Si(k) = xi(k)/x P1i(k) 　　= [S1(0) S2(0) ……SN(0)] P2i(k) 　　: 　　PNi(k) 　　故可用矩阵式表达所有状态: 　　[S1(k),S2(k), …… ,SN(k)]= [S1(0),S2(0), …… ,SN(0)] P 　　即 S(k) = S(0) P 　　当满足稳定性假设时,有　　S(k) = S(0) P 　　这个公式称为已知初始状态条件下的市场占有率k步预测模型. 　　例:东南亚各国味精市场占有率预测, 　　初期工作: 　　a)行销上海,日本,香港味精,确定状态1,2,3. 　　b)市场调查,求得目前状况,即初始分布　　c)调查流动状况;上月转本月情况,求出一步状态转移概率. 　　1)初始向量: 　　设上海味精状况为1; 　　日本味精状况为2; 　　香港味精状况为3; 　　有 S(0) = [S1(0) S2(0) S3(0)] = [0.4 0.3 0.3] 　　2)确定一步状态转移矩阵　　P11 P12 P13 0.4 0.3 0.3 　　P = P21 P22 P23 = 0.6 0.3 0.1 　　P31 P32 P33 0.6 0.1 0.3 　　3)3 步状态转移矩阵(假定要预测3个月后) 　　P11(3) P12(3) P13(3) 0.496 0.252 0.252 　　P 3= P21(3) P22(3) P23(3) = P 3= 0.504 0.252 0.244 　　P31(3) P32(3) P33(3) 0.504 0.244 0.252 　　4)预测三个月后市场　　0.496 0.252 0.252 　　S(3) = S(0)P3 =[0.4 0.3 0.3] 0.504 0.252 0.244 　　0.504 0.244 0.252 　　S1(3) = 0.4×0.496 +0.3×0.504 + 0.3×0.504 = 0.5008 　　S2(3) = 0.2496 S3(3) = 0.2496 　　1.2.2 长期市场占有率预测　　这是求当 k →∞ 时 S(k) → ? 　　我们知道: S(k) = S(0) P[k] 　　lim S(k) = S(0) lim P[k] = S(0)•T = U 　　因此,在已知初始条件下求长期市场占有率就是求稳态概率矩阵,也是求固定概率向量. 　　求固定概率向量的方法,我们在前一节已有例子,只不过说明了长期市场占有率也是只与稳态矩阵有关,与初始条件无关.

马尔可夫过程 - 正文人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X₀,X₁,X₂,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{X_n，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究，1931年 Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在 P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
离散时间马尔可夫链　以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n₁<n₂<…<n_l<m, n>0,i₁,i₂,…，i_l，i,j∈E，有

马尔可夫过程

只要其中条件概率（见概率）有意义。一般地，设E={0，1,…,M}(M为正整数)或E={0,1,2,…},X_n，n≥0为取值于E的随机变量序列,如果(1)式成立，则称{X,n≥0}为马尔可夫链。如果(1)式右方与m无关，则称为齐次马尔可夫链。这时(1)式右方是马尔可夫链从i出发经n步转移到j的概率,称为转移概率。对于马尔可夫链，人们最关心的是它的转移的概率规律,而n步转移矩阵马尔可夫过程

正好描述了链的n步转移规律。由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k,然后再从k出发(与过去无关地)经m步再转移到j，因此有

马尔可夫过程

这就是柯尔莫哥洛夫－查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如，设0<p<1，q=1-p，则M阶方阵

马尔可夫过程

为随机矩阵，它刻画的马尔可夫链是一个具有反射壁的随机游动。设想一质点的可能位置是直线上的整数点 0，1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位。如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的i，则它以概率p转移到i+1,以概率q转移到i-1。又如果把P的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当马尔可夫过程

时，称为对称随机游动。
为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若p_ij>0，则称i可以直达j，记作i→j,如还有p_ji>0，则记作i凮j，采用这样的记号，可以用图形表示运动的进程。例如图形

马尔可夫过程

表示一个马尔可夫链的运动情况,当链处于b₁,b₂,b₃状态时，将永远在{b₁,b₂,b₃}中运动,当链处于α₁,α₂,α₃,α₄状态时，将永远在{α₁,α₂,α₃,α₄}中运动,而{d₁,d₂,…}不具有这种性质,因为从d₁可一步转移到b₁或d₂,自d₃可到α₁或d₄，等等。对一般的马尔可夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态,它将永远在C 中转移，C 就称为这个链的闭集。对闭集C，如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集，例如上例中的{b₁,b₂，b₃}。至于{b₁,b₂,b₃,с₁,c₂}虽然也是闭集,但却是可约的。如果从状态i出发经有限次转移后回到i的概率为1，则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集E₀（如上例中的{d₁,d₂,…}）和一些由常返状态组成的不可约闭集Eα（如上例中的 {b₁,b₂, b₃},{α₁，α₂,α₃,α₄},{с₁,c₂}）的并。这样，在链的转移中，它或者总是在E₀中转移，或者转移到某个常返类Eα中,一旦转移到Eα，它将永远在Eα中转移, 而且不时回到其中的每一个状态。特别，当 E本身是不可约常返闭集时，极限马尔可夫过程

存在,其中0≤r<t，t是马尔可夫过程

0)的最大公约数，即链的周期,与j无关。近20年建立起来的马丁边界理论，更细致地刻画了链在E₀中转移的情况。它的主要思想是在链的状态空间E 中引进距离并将E 完备化，使得在这个距离下，X_n 以概率1收敛（见概率论中的收敛）。
　　连续时间马尔可夫链　设E是{0,1,…,M}或{0,1,2，…},{X,t≥0}是一族取值于E的随机变量,如果在(1)式中, 将n₁,n₂,…,m,n理解为实数,(1)式仍成立,则称{X_t，t≥0}为连续时间马尔可夫链。若马尔可夫过程

还与s≥0无关，记为p_ij(t)，则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵P(t)=(p_ij(t))(i,j∈E,t>0)所刻画。P(t)满足下述条件：①p_ij(t)≥0，马尔可夫过程

；②柯尔莫哥洛夫-查普曼方程马尔可夫过程

；通常假定：③标准性马尔可夫过程

这里δ_ii=1,δ_ij=0(i≠j)。有时直接称满足①、②、③的一族矩阵P(t)=(p_ij(t))，t≥0为转移矩阵或马尔可夫链。当①中条件放宽为马尔可夫过程

时,称为广转移矩阵,它有很好的解析性质。例如,每个p_ij(t)在t>0时具有连续的有穷导数 P拞(t)；在t＝0，右导数P拞(0)存在,i≠j时P拞(0)非负有穷,但P拞(0)可能为无穷。矩阵Q =(q_ij)呏(P拞(0))称为链的密度矩阵，又称Q矩阵。对于每个齐次马尔可夫链{X,t≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{X慫, t≥0}（即对一切t≥0，P(X慫≠X_t)=0, 且对每个轨道对一切t≥0有马尔可夫过程

），而且以概率1，对任意t≥0, s从大于t的一侧趋于t时,X 马尔可夫过程

最多只有一个有穷的极限点。
以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或 Q过程。在一定条件下，Q广转移矩阵P(t),t≥0满足向后微分方程组

马尔可夫过程

或者向前微分方程组

马尔可夫过程

上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是Q矩阵问题或构造问题:给定一个矩阵Q =(q_ij),满足0 马尔可夫过程

q_ij＜+∞(i≠j), 马尔可夫过程

，是否存在Q广转移矩阵?如果存在，何时惟一?如果不惟一，如何求出全部的Q广转移矩阵？对于q_ii都有限的情形，W.费勒于1940年构造了一个最小解p 马尔可夫过程

(t),证明了Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于q_ii都有限的情形找到了Q 广转移矩阵的惟一性准则；至于求出全部Q 广转移矩阵的问题，仅仅对一些特殊的情形获得解决。对于Q 的对角线元素全为无穷的情形，D.威廉斯曾获得了完满的结果。
生灭过程考察一个群体成员的数目, 在时间的进程中可增可减，假定在时刻t群体有i个成员，在很短的时间间隔(t，t+Δt)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少（当i>0时）一个或保持不变。而增加一个的概率为马尔可夫过程

，减少一个的概率为

，保持不变的概率为

。(p_ij(t))的密度矩阵是

马尔可夫过程

式中α₀≥0,b₀>0，对一切i>0,α_i>0,b_i>0。具有上述形状的密度矩阵的齐次马尔可夫链称为生灭过程。
物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述，因此生灭过程有着广泛的实际应用。不仅如此，生灭过程还有重要的理论研究意义。关于生灭过程的结果已经十分丰富。当α₀=0,b₀>0时，只有一个生灭过程的充分必要条件是马尔可夫过程

。对上述条件不成立的情形，中国学者王梓坤于1958年建立了“极限过渡法”，构造了全部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。此外，甚至对α₀≥0，b₀>0的情形,或更一般的双边生灭Q矩阵（即

为一切整数）的情形,全部Q广转移矩阵也都已构造出来。
　　一般马尔可夫过程　设(E，B)为可测空间，X={X，t≥0}为一族取值于E的随机变量,如果对任意的

B，以概率1有

　　　
(2)则称X为马尔可夫过程。
马尔可夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由

, X_s所产生的σ域（见概率）可以扩大为一般的σ域F_s，只要F_s包含由｛X,u≤s｝产生的σ域，而当 s<t时，马尔可夫过程

。如果对任意s≥0，t>0，A∈B，以概率1有

马尔可夫过程　(3)

则称随机过程X={X,t≥0}为马尔可夫过程。第二,可以允许过程有寿命ζ，其中ζ是停时（见随机过程）。这时过程为X={X,t<ζ}。上述定义仍保留，但应作相应的修改，如{X∈A_s∈A,s<ζ)，(3)应理解为在{s<ζ}上几乎处处成立。
马尔可夫过程的许多性质可以通过转移函数来表达。转移函数P(s,x,t,A)(0≤s≤t，x∈E,A∈B)是满足某些条件的四元函数，它可以理解为过程在时刻s时处在x，在时刻t 时转移到A中的条件概率。如果P(s,x,t, A)=P(t-s,x,A)只依赖于t-s,x及A,则称转移函数及相应的马尔可夫过程为齐次的。设E是d维欧几里得空间R^d,B为R^d中的波莱尔域（见概率分布）B^d，而且齐次转移函数满足下面的登金－金尼条件：对任意 ε>0，

。式中Vε(x)={y:｜y-x｜≥ε}，那么可以选取轨道连续的齐次马尔可夫过程X，以p(t，x，A)为转移函数。一类重要的轨道连续马尔可夫过程是 d维布朗运动。
强马尔可夫过程　在马尔可夫性的定义中，"现在"是指固定的时刻，但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时（见随机过程）。例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年，才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明，强马尔可夫过程才是马尔可夫过程真正研究的对象。
扩散过程　历史上，扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程，但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中，却是按照转移函数来定义扩散过程的。直线上的马尔可夫过程，它有转移函数P(s，x,t,A)，如果对任意ε>0，

马尔可夫过程　 (4)

马尔可夫过程 (5)

马尔可夫过程　(6)

而且上述极限关于x是一致的,则称此过程为一维扩散过程。粗略地说，这些条件刻画了：在很短时间Δt内，位移也是很小的，对指定的正数ε>0，位移超过ε的概率和时间Δt相比可以忽略不计；在偏离不超过 ε的范围内看，平均偏离与Δt成正比，平均方差也与 Δt成正比。称(5)中的α(t,x)为偏移系数,它反映偏离的大小；称(6)中的b(t,x)为扩散系数，它反映扩散的程度。
设转移函数具有密度函数p(s,x,t,y),则在适当的附加条件下，p(s,x,t,y)满足方程

马尔可夫过程　　 (7)

马尔可夫过程　(8)

(7)和(8)分别称为柯尔莫哥洛夫向前方程和向后方程，也称为福克尔－普朗克方程。如果转移函数是齐次的,则α(s,x)=α(x),b(s,x)=b(x)与s无关，且p(t,x,y)满足

马尔可夫过程 (9)

　(10)α和b的某些假定下,可以求上述方程的转移密度解p,从而可以决定一个马尔可夫过程。然而,方程的转移密度解即使存在也未必惟一，因此还要对方程的解附加某些边界条件，以保持解的惟一性。例如，当α(t，x)=0，b(t，x)=2D (常数D>0)时的向前方程，附加边界条件=0的解是

马尔可夫过程

这是称之为维纳－爱因斯坦过程的扩散过程的转移密度函数。又例如，当α(t,x)=-βx(β>0),b(t,x)=2D >0时的向前方程马尔可夫过程

附加与上例同样的边界条件的解，是称之为奥恩斯坦－乌伦贝克过程的扩散过程的转移密度函数。
50年代，费勒引进了推广的二阶微分算子，用半群方法解析地研究了状态空间E =【r₁,r₂】的扩散过程，解决了在r₁和r₂ 处应附加哪些边界条件,才能使向后方程(10)有一个且只有一个转移密度函数解的问题，而且找出了全部这样的边界条件。对于 E是开区间或半开半闭区间的情形也作了研究。登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道的研究，阐明了费勒的结果的概率意义，从而使一维扩散过程有了较完整的理论。
多维扩散过程是和一个椭圆型偏微分算子联系在一起的，它还有许多未解决的问题，但核心问题之一是多维扩散过程的存在性和惟一性问题；借助于偏微分方程和概率论方法已经得到一些结果。有趣的是，概率论得到的结果反过来也可以解决微分方程的求解问题，例如，可以把方程的解用一个马尔可夫过程表现出来。
近年来，人们重视从轨道变化的角度来研究扩散过程。常用的方法是随机微分方程和鞅问题的求解。流形上的扩散过程理论是近十年来日益受人们重视的新领域，它是用随机微分方程研究扩散过程的必然延伸。
马尔可夫过程与位势理论　在空间中给定一个向量场,如果存在一个函数u使得它的负梯度就是给定的向量场，这个函数就是位势。高斯在研究电荷分布时提出了古典位势理论。例如，在空间R³的某物体S 中给定了一个电荷分布μ，那么空间点x处的电位势为

马尔可夫过程

一般地，对于空间R³中的测度μ(通常假定具有支撑S )，

马尔可夫过程

称为测度μ的牛顿位势。如果不计常数因子的差别，则u可以用三维布朗运动的转移密度函数p(t,x,y)表现出来：

马尔可夫过程

如果假定μ关于勒贝格测度有密度函数ƒ,则u还可以通过三维布朗运动{X,t≥0}表现出来：

马尔可夫过程

式中E_x表示对从x出发的布朗运动取数学期望。再以和位势理论紧密联系的狄利克雷问题为例，它的解也可以用布朗运动来表述。由此可见,布朗运动与古典位势之间存在着自然的对应关系。这种对应关系也存在于亨特过程和近代位势理论之间。亨特过程就是轨道右连续且拟左连续的强马尔可夫过程。所谓拟左连续，即对任何停时序列τ_n↑τ，在(τ<+∞)上，以概率1有