马尔可夫过程

马尔可夫过程

Markov process

一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 (现在)的条件下，它未来的演变 (将来)不依赖于它以往的演变  ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
　　关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
　　离散时间马尔可夫链 　以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n10,i1,i2,…，il，i,j∈E，有


只要其中条件概率（见概率）有意义。一般地，设E={0，1,…,M}(M为正整数)或E={0,1,2,…},Xn，n≥0为取值于E的随机变量序列,如果(1)式成立，则称{X,n≥0}为马尔可夫链。如果(1)式右方与m无关，则称为齐次马尔可夫链。这时(1)式右方是马尔可夫链从i出发经n步转移到j的概率,称为转移概率，记为。对于马尔可夫链，人们最关心的是它的转移的概率规律,而n步转移矩阵正好描述了链的n步转移规律。由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k,然后再从k出发(与过去无关地)经m步再转移到j，因此有


这就是柯尔莫哥洛夫－查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如，设0

，q=1-p，则M阶方阵


为随机矩阵，它刻画的马尔可夫链是一个具有反射壁的随机游动。设想一质点的可能位置是直线上的整数点 0，1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位。如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的i，则它以概率p转移到i+1,以概率q转移到i-1。又如果把P的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当时，称为对称随机游动。
　　为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若pij>0，则称i可以直达j，记作i→j,如还有pji>0，则记作i凮j，采用这样的记号，可以用图形表示运动的进程。例如图形


表示一个马尔可夫链的运动情况,当链处于b1,b2,b3状态时，将永远在{b1,b2,b3}中运动,当链处于α1,α2,α3,α4状态时，将永远在{α1,α2,α3,α4}中运动,而{d1,d2,…}不具有这种性质,因为从d1可一步转移到b1或d2,自d3可到α1或d4，等等。对一般的马尔可夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态,它将永远在C 中转移，C 就称为这个链的闭集。对闭集C，如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集，例如上例中的{b1,b2，b3}。至于{b1,b2,b3,с1,c2}虽然也是闭集,但却是可约的。如果从状态i出发经有限次转移后回到i的概率为1，则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集 E0（如上例中的{d1,d2,…}）和一些由常返状态组成的不可约闭集Eα（如上例中的 {b1,b2, b3},{α1，α2,α3,α4},{с1,c2}）的并。这样，在链的转移中，它或者总是在E0中转移，或者转移到某个常返类Eα中,一旦转移到Eα，它将永远在Eα中转移, 而且不时回到其中的每一个状态。特别，当 E本身是不可约常返闭集时，极限存在,其中0≤r，t是0)的最大公约数，即链的周期,与j无关。近20年建立起来的马丁边界理论，更细致地刻画了链在E0中转移的情况。它的主要思想是在链的状态空间E 中引进距离并将E 完备化，使得在这个距离下，Xn 以概率1收敛（见概率论中的收敛）。
　　连续时间马尔可夫链 　设E是{0,1,…,M}或{0,1,2，…},{X,t≥0}是一族取值于E的随机变量,如果在(1)式中, 将n1,n2,…,m,n理解为实数,(1)式仍成立,则称{Xt，t≥0}为连续时间马尔可夫链。若还与s≥0无关，记为pij(t)，则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵P(t)=(pij(t))(i,j∈E,t>0)所刻画。P(t)满足下述条件：①pij(t)≥0，；②柯尔莫哥洛夫-查普曼方程；通常假定：③标准性 这里δii=1,δij=0(i≠j)。有时直接称满足①、②、③的一族矩阵P(t)=(pij(t))，t≥0为转移矩阵或马尔可夫链。当①中条件放宽为时,称为广转移矩阵,它有很好的解析性质。例如,每个pij(t)在t>0时具有连续的有穷导数 P拞(t)；在t＝0，右导数P拞(0)存在,i≠j时P拞(0)非负有穷,但P拞(0)可能为无穷。矩阵Q =(qij)呏(P拞(0))称为链的密度矩阵，又称Q矩阵。对于每个齐次马尔可夫链{X,t≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{X怂, t≥0}（即对一切t≥0，P(X怂≠Xt)=0, 且对每个轨道对一切t≥0有），而且以概率1，对任意t≥0, s从大于t的一侧趋于t时,X最多只有一个有穷的极限点。
　　以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或 Q过程。在一定条件下，Q广转移矩阵P(t),t≥0满足向后微分方程组


或者向前微分方程组


上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是Q矩阵问题或构造问题:给定一个矩阵Q =(qij),满足0qij＜+∞(i≠j),，是否存在Q广转移矩阵?如果存在，何时惟一?如果不惟一，如何求出全部的Q广转移矩阵？对于qii都有限的情形，W.费勒于1940年构造了一个最小解p(t),证明了Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于qii都有限的情形找到了Q

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/12993749/viewspace-368945/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/12993749/viewspace-368945/