Markov Process & Markov Chain(I)

• Markov过程

       考虑一个随机过程X=X{Xt, t∈T}。我们假设随机变量Xt的取值在某个集合S中，则称集合S为状态空间。

       一个随机过程如果给定了当前时刻t的值Xt，未来(s>t)的值Xs不受过去Xu(u<t)的影响就称具有Markov性。如果一个过程具有Markov性，则称该过程为Markov过程。特别地，当状态空间S为至多可列集时，Markov过程称为Markov链。

• Markov链的相关定义

       对于Markov链，当指标集T是非负整数时，称之为离散时间Markov链；当指标集T是连续时间时，称为连续时间Markov链。

       对于离散时间Markov链{Xn , n=0,1,...}，状态空间也可记为S={0,1,2,...}。此时，“Xn=i”就表示过程在n时刻出于状态i。

       定义1：如果对于任何一列状态i0 , i1 , ... , in-1 , i , j，对任何n≥0，随机过程{Xn , n≥0}满足Markov性质：

       P{Xn+1=j | X0=i0 , ... , Xn-1=in-1 , Xn=i} = P{Xn+1=j | Xn=i}

       则称随机过程{Xn , n≥0}为离散时间Markov链。

       定义2：设{Xn , n≥0}为一离散时间Markov链。对于任意i, j ∈S，称P{Xn+1=j | Xn=i}为Markov链的一步转移概率，记作pij(n,n+1)。当这一概率与n无关时，称该Markov链具有平稳转移概率，并记为pij。

       有平稳转移概率的Markov链，也称为时齐Markov链。它的平稳转移概率具有下面性质：

       （1）pij≥0 , ∀i , j;

       （2）Σ(下标j)pij=1 , ∀i。

       通常把转移概率排成一个方阵，记作：，称之为Markov链的转移概率矩阵。

       定义3：设{Xn , n≥0}为任一时齐的离散时间Markov链。则对于任意i , j∈S，P{Xm+n = j | Xm=i}都与m无关，称为Markov链的n步转移概率，记作pij(n)，即：pij(n)=P{Xm+n=j | Xm=i}。通常把以pij(n)为元素的矩阵[pij(n)]称为n步转移概率矩阵，记作p(n)=[pij(n)]。