随机过程（4）——马尔可夫链

1.前言

如约开始更新第四章——马尔科夫链。首先提醒一下想学机器学习那边的马尔科夫链，隐式马尔科夫链（HMM）的同学们绕行，这里不讲这些应用，我们只谈数学。
老师上课的时候说，这一章是最难的…我呢，只感觉上课听得有点迷糊，但是课后看看书，大致也能看得差不多。就是现在这个内容上了一个月了，经常忘了前边讲了什么了，所以我得写博客开始复习了：）
上网课时间过的还真快，3/4就过完了。

2.马尔可夫链简介

考虑一个随机过程 { X n , n = 0 , 1 , 2 , . . . } \{X_n,n=0,1,2,...\} { Xn​,n=0,1,2,...}中，所有时刻的随机变量$X_n$的值都在一个有限或者可数的集合中选取。比方说本章节，默认所有的$X_n$取值都为非负整数集 { 0 , 1 , 2 , . . . } \{0,1,2,...\} { 0,1,2,...}。如果$X_n=i$，我们就说该过程在第n步处于状态i。我们再假设，不论何时处于状态i，下一步转移到状态j的概率$P_{ij}$都是固定的。用公式写出来，就是这样：
$$P_{ij}=P[X_{n+1}=j|X_n=i]=P[X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},X_{n-2}=i_{n-2},...,X_0=i_0]$$
用更通俗一点的话说，就是下一个状态的转移概率只由当前状态决定。
举个例子，比方说，今天是5.10号，那么明天是几号？当然是5.11号！只要我知道了今天是几号，那么前天、大前天包括再之前是几号我全不知道，就能推测出明天是5.12号。肯定有同学觉得，这不是废话嘛！但是假如我说今天是2.28号，那明天是几号？不太严谨地说，明天有3/4的概率转移到3.1号，有1/4概率转移到2.29号。
当然，这个例子不是特别特别好，因为我知道前天是几号，我也知道明天是几号啊！但是马尔可夫链的基本性质，这个例子还是满足的，只不过规律性比马尔科夫链还强。
考虑到$P_{ij}$表示从i转移到j的概率，而且i下一时刻一定会转移到某个状态，所以它有下面这几个性质
$$P_{ij}\ge 0,i,j\ge 0,{\Sigma }_{j=0}^{\infty }{P}_{ij}=1$$
同时，我们可以用一个矩阵$P$表示一步转移概率，矩阵i行j列的元素就是$P_{ij}$。同时我们也有$P^n,P_{ij}^n$表示多步的转移概率。
接下来书上有四个十分恶心的例子，如果懒得关注呢，就跳到后面吧。

2.1 M/G/1队列例子

Example 4.1A 假设顾客到达某个服务台的人数服从参数$\lambda$的泊松过程，且该服务台只有一个服务员。如果进入服务台时，有人正在接受服务，那么就需要排队。每位顾客的服务时间都遵循独立的分布G，且G独立于顾客到来的过程。
这种排队情况被称为M/G/1，M代表顾客到达的间隔时服从指数分布，G表示服务时间是一个任意分布，1表示只有一个服务员。
在第n位顾客离开时，我们用$X_n$表示队列里还剩下的人（不包括刚走的这位）。同时，我们用$Y_n$表示在第n+1位顾客被服务时，到达的顾客数。这样，我们可以求出 { X n } \{X_n\} { Xn​}是一个马尔可夫过程，以及它的转移概率：

当前顾客离开，如果队列里还有$X_n$人且$X_n>0$，那么当这位顾客开始被服务，背后只剩下$X_n-1$人了。在他被服务期间，还来了$Y_n$人，所以我们可以计算出他离开时队列里剩下的人数。同样，当前顾客离开时队列空了，那么下一位顾客来时直接被服务，身后也没有人，他走后队列里剩下的人数就等同于他被服务时来的人数。这样我们可以写出如下的递推关系式：
$$X_{n+1}=\{\begin{array}{l}{X}_n-1+Y_n，X_n>0\\ Y_n，X_n=0\end{array}$$
接下来，我们只要计算出$Y_n$的分布，就可以计算转移概率了！计算方法就是对联合概率概率进行积分。而由于计数过程和服务时间是相互独立的，所以联合概率就等于他们俩概率相乘。泊松过程的计数概率是在泊松过程那一章就已经给出了。
$$P[Y_n=j]={\int }_0^{\infty }P[N(x)=j]P[服务时间=x]dx={\int }_0^{\infty }(\lambda x{)}^j/j!\times e^{-\lambda x}dG(x)$$
那么，我们根据上面的递推式子，就知道：$X_n>0$时，从状态$i$转移到状态$j$且$i>0,j\ge i-1$，那么$Y_n=1-i+j$。当$X_n=0$时，从状态$i$转移到状态$j$，那么$Y_n=j$。因此就可以求出对应的转移概率了：
$P_{0j}=P[Y_n=j]$
$P_{ij}=P[Y_n=1-i+j],i>0,j\ge i-1$
其他情况，概率都为0.

2.2 G/M/1队列例子

这个例子和上面很类似，只不过为了利用泊松过程计算计数概率的优势，我们定义一个略有差别的马尔科夫链。

Example 4.1B 假设顾客到达某个服务台的人数服从间隔时分布为G的更新过程。每位顾客的服务时间都遵循参数为$\mu$的指数分布，且服务时间分布独立于顾客到来的过程。
这种排队情况被称为G/M/1，意义同上一题。
在第n位顾客到来时，我们用$X_n$表示此时队列里的人数（不包括刚来的这位，但是包括正在接受服务的人）。同时，我们用$Y_n$表示在第n位和第n+1顾客到达之间，离开的顾客数。这样，我们可以求出 { X n } \{X_n\} { Xn​}是一个马尔可夫过程，以及它的转移概率：

有了第一个例题的铺垫，这个就很好算了。首先还是算$Y_n$的分布：
$$P[Y_n=j]={\int }_0^{\infty }P[N(x)=j]P[n+1位顾客到达的间隔时=x]dx={\int }_0^{\infty }(\mu x{)}^j/j!\times e^{-\mu x}dG(x)$$
当下一位顾客到来时，看到队列非空，也就是下一状态非零时的转移概率为
$$P_{ij}=P[Y_n=i+1-j],1+i\ge j>0$$
但是如果下一位顾客到来时，看到队列是空的，那这个情况就有点特殊了。这说明，在这段时间内，服务员服务完了$i+1$个人。但是很有可能是提前服务完了这么多人，也就是说，从泊松过程的角度看，这$i+1$个人的到达时是小于等于下一位顾客的到达时的。即：
$$i+1位顾客离开的到达时S_{i+1}\le 第n+1位顾客到达的间隔时t<=>N(t)\ge i+1$$
这个想通了之后，就很好求这个概率了。
$$P_{i0}=P[N(t)\ge i+1]={\Sigma }_{j=i+1}^{\infty }P[Y_n=j],1+i\ge j>0$$
书上有这么一句话：这两个例子所选择的时间点，是利用了指数分布的无记忆性。我一开始把这句话打了个问号，但是现在我理解了。我们可以看到这两个例子所选取的观察时间点，一个是顾客离开的时候，一个是顾客到达的时候，都是为了充分利用之前所学的泊松计数过程的计数概率。这样，我们可以直接写出n位顾客在t时间内到达的概率分布，如果换成别的分布，就很难求解了。

2.3 独立同分布的随机变量求和

如果定义独立同分布的一系列变量分布为：
$$P[X_i=j]=a_j,j=0,\pm 1,\pm 2,...$$
然后我们定义它们的和：
$$S_0=0,S_n={\Sigma }_0^n{X}_i$$
那么可以看到， { S n } \{S_n\} { Sn​}是一个马尔可夫链，因为
$$P_{ij}=P[X=j-i]$$
{ S n } , n ≥ 0 \{S_n\},n\geq0 { Sn​},n≥0被称为随机游走。可以想象，在一维空间中，某个质点在每个时间点可能向左或者向右走几步，那么我们把它的位置看作一个随机过程，那么这是一个马尔科夫链。下一位置等于当前位置加上这次的位移，就等于下一次的位置。

2.4 简单随机游走的位移绝对值

上一个例子介绍了随机游走，前几章说过简单随机游走，也就是每次只会向左或者向右走一个单位长度。现在我们假定向左走（-1）的概率为p，向右走（+1）的概率为q=1-p。现在我们定义其位移的绝对值$|S_n|$，接下来的计算表明它也是一个马尔可夫链。首先，我们先计算一个前提概率：

如果 { S n } , n ≥ 0 \{S_n\},n\geq0 { Sn​},n≥0是一个简单随机游走，那么
$$P[S_n=i||S_n|=i,|S_{n-1}|=i_{n-1},...,|S_1|=i_1]=q^i/(p^i+q^i$$