【随机过程】18 - 连续时间马氏链与排队论

连续时间马尔科夫链与排队论

1. 连续时间马氏链

$$\text{Continuous Time Markov Chains}$$

1.1 概述

  离散时间马尔科夫链是时间是离散的，状态也是离散的一种随机过程。而连续时间马氏链是时间是连续的，状态是离散的一种随机过程。我们可以重新定义转移概率，跟离散的定义是一样的

S = { x 1 , x 2 , . . . , x n , . . . } P i j ( s , t ) = P ( X ( t ) = j ∣ X ( s ) = i ) ∀ t , t 1 , . . . , t n ⇒ ( X ( t 1 ) , . . . , X ( t n ) ) P ( X ( t n ) = x n ∣ X ( t n − 1 ) = x n − 1 , . . . , X ( t 1 ) = x 1 ) = P ( X ( t n ) = X n ∣ X ( t n − 1 ) = x n − 1 ) S = \{x_1,x_2,...,x_n,... \} \\ P_{ij}(s,t) = P(X(t)=j |X(s)=i) \\ \forall t,t_1,...,t_n \Rightarrow (X(t_1),...,X(t_n)) \\ P(X(t_n)=x_n|X(t_{n-1})=x_{n-1},...,X(t_1)=x_1) = P(X(t_n)=X_n|X(t_{n-1})=x_{n-1}) S={x1​,x2​,...,xn​,...}Pij​(s,t)=P(X(t)=j∣X(s)=i)∀t,t1​,...,tn​⇒(X(t1​),...,X(tn​))P(X(tn​)=xn​∣X(tn−1​)=xn−1​,...,X(t1​)=x1​)=P(X(tn​)=Xn​∣X(tn−1​)=xn−1​)

  同时，我们一般认为转移概率具有平稳性，因此转移概率就与具体时间没有关系了

$$P_{ij}(s,t)=P_{ij}(t-s)$$

  这个转移概率的含义是，从i出发，经过t-s时间后到达j的概率。t-s这段时间，一般来说是包括在i上等待的时间和从i到j转移的时间的。如果我们忽略从i到j的转移时间，也就是会立刻到达，t-s就是一个停留的时间。

  对于连续时间马氏链的转移概率，这个概率包括两部分，一部分是停留时间(在i上停留的时间)，一部分是跳变概率(从i到达要转移到哪里去)。

$$\begin{gathered} \text{Sojourn Time} \\ \text{Jump Probability} \end{gathered}$$

  相比于离散时间马氏链，连续时间马氏链多了一个停留时间的概念，我们先研究停留时间的规律，然后进而研究跳变规律。

1.2 停留时间的分布

  事实上，停留时间是服从指数分布的，因为指数分布是无记忆的。

  我们可以分析一下停留时间的分布。

$$\begin{gathered} T_{i}P(T_i>t)=P(X(s)=i,s\in [0,t]) \\ =P(X(s)=i,X(t)=i,s\in [0,t]) \\ =P(X(s^{\prime })=i,s^{\prime }\in [s,t]|X(s^{\prime \prime })=i,s^{\prime \prime }\in [0,s])P(X(s^{\prime \prime })=i,s^{\prime \prime }\in [0,s]) \\ =P(X(s^{\prime })=i,s^{\prime }\in [s,t]|X(s)=i)P(T_i>s) \\ =P(T_i>t-s)P(T_i>s) \end{gathered}$$

$$\begin{gathered} \text{Let }G(t)=P(T>t) \\ G(t)=G(s)G(t-s)\forall s\in [0,t] \end{gathered}$$

  这个形式的方程的唯一解就是指数

$$P(T>t)=G(t)=exp(-\lambda t)\Rightarrow T\sim exp(\lambda )$$

1.3 跳变概率

1.3.1 连续时间马氏链CK方程

  下面我们继续研究跳变概率。先从CK方程开始说起

$$\begin{gathered} \text{Chapman-Kolmogorow} \\ {P}_{ij}(s+t)=\sum _k{P}_{ik}(s)P_{ki}(t) \end{gathered}$$

  连续时间的CK方程和离散时间的CK方程是完全一样的。不过由于离散时间的CK方程，转移的最小单位是一步，可以对n步转移概率矩阵进行归并

$$\begin{gathered} P(n)=P(n-1)P(n)=P(1)P(n-1) \\ \Rightarrow P(n)=(P(1){)}^n \end{gathered}$$

  而连续时间马氏链找不到基本的步骤，因为时间理论上是可以无限细分的。连续时间和离散时间马氏链在这里就开始产生区别了。缺乏原子步骤。

  但是，由于离散时间一般对应差分方程，连续时间一般对应微分方程。因此，我们可以使用微分方程的形式对CK方程进行进一步的表示。

$$\begin{gathered} \frac{P_{ij}(t+\Delta t)-P_{ij}(t)}{\Delta t}=\frac{{\sum }_k{P}_{ik}(t)P_{kj}(\Delta t)-P_{ij}(t)}{\Delta t} \\ =\frac{P_{ij}(t)P_{jj}(\Delta t)-P_{ij}(t)+{\sum }_{k\cancel{=}j}{P}_{ik}(t)P_{kj}(\Delta t)}{\Delta t} \\ =\frac{P_{ij}(t)(P_{jj}(\Delta t)-1)}{\Delta t}+\frac{{\sum }_{k\cancel{=}j}{P}_{ik}(t)P_{kj}(\Delta t)}{\Delta t} \end{gathered}$$

  现在我们想求这个式子的极限，事实上，左边式子的极限也是有意义的，因为当转移时间无限趋近于0的时候，从j状态到j状态没有转移时间，只能待在j，也就是说概率是1，上下就都是0了，就有了求极限的价值

$$\begin{gathered} \Delta t\to 0\Rightarrow li{m}_{\Delta t\to 0}\frac{P_{ij}(t)(P_{jj}(\Delta t)-1)}{\Delta t}+li{m}_{\Delta t\to 0}\frac{{\sum }_{k\cancel{=}j}{P}_{ik}(t)P_{kj}(\Delta t)}{\Delta t} \\ =P_{ij}(t)(li{m}_{\Delta t\to 0}\frac{P_{jj}(\Delta t)-1}{\Delta t})+\sum _{k\cancel{=}j}{P}_{ik}(t)(li{m}_{\Delta t\to 0}\frac{P_{kj}(\Delta t)}{\Delta t}) \end{gathered}$$

$$\begin{gathered} \text{Let }{q}_{ii}=li{m}_{\Delta t\to 0}\frac{P_{jj}(\Delta t)-1}{\Delta t} \\ {q}_{ij}=li{m}_{\Delta t\to 0}\frac{P_{ij}(\Delta t)}{\Delta t}i\cancel{=}j \end{gathered}$$

  然后我们就得到了微分方程,但是这个微分方程对角元和非对角元是有区别的

$$\begin{gathered} \frac{d{P}_{ij}(t)}{dt}=P_{ij}(t)g_{ii}+\sum _{k\cancel{=}j}{P}_{ik}(t)g_{kj}=\sum _k{P}_{ik}(t)q_{kj} \\ \Rightarrow \frac{d}{dt}P(t)=P(t)Q \\ P(t)=(P_{ij}(t){)}_{ij} \\ Q=(q_{ij}{)}_{ij} \end{gathered}$$

  我们可以得到新的对应关系，与离散时间一步转移概率相对应的就是Q矩阵。Q矩阵就是连续时间马氏链的一步转移矩阵。

$$Q=li{m}_{\Delta t\to 0}=\frac{P(\Delta t)-I}{\Delta t}$$

1.3.2 Q矩阵

  这个Q矩阵叫做生成元，对应一步转移概率的原子操作

$$\text{Generator}$$

  对于Q矩阵而言，对角线元一定都是非正的，非对角线元一定都是非负的

$$\begin{gathered} q_{ii}=li{m}_{\Delta t\to 0}\frac{P_{jj}(\Delta t)-1}{\Delta t} \\ {q}_{ij}=li{m}_{\Delta t\to 0}\frac{P_{ij}(\Delta t)}{\Delta t}i\cancel{=}j \\ {q}_{ii}\le 0 \\ {q}_{ij}\ge 0i\cancel{=}j \end{gathered}$$

  对于一步转移矩阵而言，行和是1，而对于Q矩阵而言，行和是0

$$\sum _j{g}_{ij}=0\Rightarrow \sum _j{P}_{ij}(\Delta t)-1=0$$

1.3.3 前进后退方程

  事实上，我们知道CK方程具有两种展开形式。

$$\begin{gathered} \frac{P_{ij}(t+\Delta t)-P_{ij}(t)}{\Delta t}=\frac{{\sum }_k{P}_{ik}(t)P_{kj}(\Delta t)-P_{ij}(t)}{\Delta t} \\ \Rightarrow \frac{d}{dt}P(t)=P(t)Q(i) \end{gathered}$$

  我们用另外一种展开方法进行分析

$$\begin{gathered} li{m}_{\Delta t\to 0}\frac{P_{ij}(t+\Delta t)-P_{ij}(t)}{\Delta t}=li{m}_{\Delta t\to 0}\frac{{\sum }_k{P}_{ik}(\Delta t)P_{kj}(t)-P_{ij}(t)}{\Delta t} \\ =li{m}_{\Delta t\to 0}\frac{P_{ii}(\Delta t)P_{ij}(t)+{\sum }_{k\cancel{=}i}{P}_{ik}(\Delta t)P_{kj}(t)-P_{ij}(t)}{\Delta t} \\ =li{m}_{\Delta t\to 0}\frac{(P_{ii}(\Delta t)-1)P_{ij}(t)}{\Delta t}+(li{m}_{\Delta t\to 0}\frac{{\sum }_{k\cancel{=}i}{P}_{ik}(\Delta t)}{\Delta t})P_{kj}(t) \\ =g_{ii}{P}_{ij}(t)+\sum _{k\cancel{=}i}{g}_{ik}{P}_{kj}(t) \\ =\sum _k{g}_{ik}{P}_{kj}(t) \\ \Rightarrow \frac{dP(t)}{dt}=QP(t)(ii) \end{gathered}$$

  我们得到的这两个方程都是对的，分布叫做前进方程和后退方程

$$\begin{gathered} \frac{d}{dt}P(t)=P(t)Q\text{Forward} \\ \frac{dP(t)}{dt}=QP(t)\text{Backward} \\ \text{Kolmonglov-Feller} \end{gathered}$$

  这两个方程具有相同的解

$$\begin{gathered} \Rightarrow P(t)=exp(Qt)P(0) \\ P(0)=I\Rightarrow P_{ii}(0)=1P_{ij}(0)=0 \end{gathered}$$

  这里需要注意的是，矩阵的指数就是其泰勒展开

$$exp(Qt)=\sum _{k=0}^{\infty }\frac{(Qt{)}^k}{k!}$$

  对于CK方程而言，离散的是矩阵乘法，连续的是矩阵指数。Q矩阵的行和是0，对角元是负的，非对角元是非负的。

  矩阵指数求解方法

• 求矩阵Q的特征值λ₁,…,λ_n
• 求矩阵Q的特征向量矩阵U
• 然后可以得到矩阵指数

$$e^{Qt}=U\left(\begin{array}{ccc}{e}^{{\lambda }_{1}t}& & \\ & ...& \\ & & e^{{\lambda }_{n}t}\end{array}\right)U^{-1}$$

1.4 泊松过程与连续时间马氏链

  连续时间马氏链是由转移概率的随机性和停留时间的随机性共同构成的，不过是在离散时间马氏链的基础上增加了指数分布的停留时间。泊松分布的停留时间也是指数分布，不过泊松分布的转移行为非常简单，不具备随机性，因此，可以说，泊松过程是最简单的马尔科夫过程。

  我们可以用马尔科夫的分析方法分析泊松过程，看看泊松过程具有怎么样的行为。

$$\begin{gathered} \text{Poisson Process} \\ {P}_{ij}(\Delta t)=\{\begin{array}{ll}\frac{(\lambda \Delta t{)}^{j-i}}{(j-i)!}exp(-\lambda \Delta t)& j\ge i\\ 0& j<i\end{array} \end{gathered}$$

  然后我们来分析泊松过程的Q矩阵

$$\begin{gathered} g_{ii}=li{m}_{\Delta t\to 0}\frac{P_{ii}(\Delta t)-1}{\Delta t}=li{m}_{\Delta t\to 0}\frac{exp(-\lambda \Delta t)-1}{\Delta t}=-\lambda \\ {g}_{i,i+1}=li{m}_{\Delta t\to 0}\frac{P_{i,i+1}(\Delta t)}{\Delta t}=li{m}_{\Delta t\to 0}\frac{\lambda \Delta texp(-\lambda \Delta t)}{\Delta t}=\lambda \\ {g}_{ij}=li{m}_{\Delta t\to 0}\frac{\frac{(\lambda \Delta t{)}^{i-j}exp(-\lambda \Delta t)}{(j-i)!}}{\Delta t}=O(\Delta t)=0j-i\ge 2 \\ {g}_{ij}=0j<i \end{gathered}$$

  然后我们就可以得到泊松过程的Q矩阵

$$Q=\left(\begin{array}{ccccc}-\lambda & \lambda & & & \\ & -\lambda & \lambda & & \\ & & -\lambda & \lambda & \\ & & & ...& ...\end{array}\right)$$

  我们可以看出泊松过程的Q矩阵，对角线都是负的，次对角线都是正的。其他地方都是0。并且主对角线和次对角线的和是0。

  由于这个Q矩阵非常简单，如果使用连续时间马氏链的方法分析Q矩阵，莫过于大炮打蚊子。因此泊松过程使用自己的分析方法就已经可以足够简单了。

1.5 连续时间马氏链的极限分布

  连续时间马氏链的极限分布更加的简单。因为对于离散时间马氏链，如果转移行为本身是震荡的，就会有极限不存在的问题。因此离散时间马氏链需要有非周期的条件。而连续时间马氏链不需要有周期性的条件。

  因为连续时间马氏链有等待时间，在任何一个状态待多久都是有可能的，随时会自己返回。不会有震荡的问题。因此连续时间的马氏链，只有可约，就一定有极限。

  不可约这个条件和停留行为没有关系，只会影响到转移行为。

$$\text{Irreducible }\Rightarrow \text{Limit}!$$

  我们看看如何求得极限概率

$$\begin{gathered} \frac{d}{dt}P(t)=P(t)Q\text{Forward} \\ \frac{dP(t)}{dt}=QP(t)\text{Backward} \\ \text{Kolmonglov-Feller} \end{gathered}$$

  当时间趋于无穷的时候，P(t)会趋于一个常数，导数就会趋于0

$$\begin{gathered} li{m}_{t\to \infty }P(t)=\Pi \\ \frac{d}{dt}P(t)=0 \\ \Rightarrow \Pi Q=0\text{Forward} \\ \Rightarrow Q\Pi =0\text{Backward} \end{gathered}$$

  我们应该用前进方程，不然得到的是恒等式。注意我们的π是个行向量。

$$\begin{gathered} \Pi Q=0 \\ {P}_{ij}(t)=P_j \end{gathered}$$

2. M/M/1模型排队论

2.1 模型描述

  我们之前基于过滤泊松过程介绍过M/G/∞模型的排队问题。但是这个问题不具有普遍性，因为服务台的资源不可能是无限的。

  因此，我们要介绍基于M/M/1模型的排队问题。

$$M/M/1$$

  简单描述就是，马尔科夫的来，马尔科夫的走，然后服务台的数量是1

  马尔科夫来，意味着顾客是以泊松过程到来的；马尔科夫走，是指服务时间是指数分布。这是资源有限情况下的排队问题。

  我们假设顾客到达是强度是λ，我们假设服务时间是指数分布，其参数是μ

$$\begin{gathered} M\sim \lambda \sim \text{Possion} \\ M\sim \mu \sim \text{Exponential} \end{gathered}$$

  对于排队模型，我们需要求解两个问题，一个问题是平均队长，另外一个问题是平均等待时间。

$$\begin{gathered} M/M/1 \\ (1)\text{Mean Queue Length} \\ (2)\text{Mean Waiting Time} \end{gathered}$$

2.2 模型建立–生灭模型

  为了研究平均队长和平均等待时间问题，我们必须建立一个连续时间马尔科夫模型，就是生灭模型

$$\text{Birth-Death Model}$$

  过滤泊松过程要求等待时间之间的独立的，这个要求太强了，不实用。而生灭模型中生和灭两个因素是独立起作用的，也就是要求生作用和灭作用具有独立性，这个是合理的。

  我们先说生,讲的是delta t时间内人数的增加

$$\begin{gathered} \text{Birth}\Delta t \\ +1:\lambda \Delta +O(\Delta t) \\ +\ge 2:O(\Delta t) \end{gathered}$$

  然后是灭模型，是delta t时间内人数的减少

$$\begin{gathered} \text{Death}\Delta t \\ -1:\mu \Delta t+O(\Delta t) \\ -\ge 2:O(\Delta t) \end{gathered}$$

  接下来要计算转移概率矩阵和Q矩阵。

  先看不增不减的情况。就包括没有生没有灭；生一个灭一个；生多个，灭多个。这里注意一下，因为生过程和灭过程是独立的，所以可以做乘法

$$\begin{gathered} P_{ii}(\Delta t)=(1-\lambda \Delta t+O(\Delta t))(1-\mu \Delta t+O(\Delta t))+(\lambda \Delta t+O(\Delta t))(\mu \Delta t+O(\Delta t))+O(\Delta t) \\ =(1-\lambda \Delta t+O(\Delta t))(1-\mu \Delta t+O(\Delta t))+O(\Delta t)+O(\Delta t) \\ =(1-\lambda \Delta t+O(\Delta t))(1-\mu \Delta t+O(\Delta t))+O(\Delta t) \\ =1-\lambda \Delta t-\mu \Delta t+O(\Delta t) \end{gathered}$$

  然后是增加一个。包括生一个没有灭；生两个灭一个等等

$$P_{i,i+1}(\Delta t)=(\lambda \Delta t+O(\Delta t))(1-\mu \Delta t+O(\Delta t))+O(\Delta t)$$

  然后是减少一个，包括没有生灭一个；灭两个生一个等等。

$$P_{i,i-1}(\Delta t)=(1-\lambda \Delta t+O(\Delta t))(\mu \Delta t+O(\Delta t))+O(\Delta t)$$

  如果是变化了很多的情况，就都是高阶无穷小了

$$P_{ij}(\Delta t)=O(\Delta t)$$

  然后我们求Q矩阵

$$Q=li{m}_{\Delta t\to 0}\frac{1}{\Delta t}(P(\Delta t)-I)$$

$$\begin{gathered} g_{ii}=-(\lambda +\mu ) \\ {g}_{i,i+1}=\lambda \\ {g}_{i,i-1}=\mu \\ {g}_{ij}=0|i-j|>1 \end{gathered}$$

  Q矩阵第一行比较特殊，只能生，不能没

$$Q=\left(\begin{array}{cccccc}-\lambda & \lambda & & & & \\ \mu & -(\lambda +\mu )& \lambda & & & \\ & \mu & -(\lambda +\mu )& \lambda & & \\ & & ...& ...& ...& \end{array}\right)$$

  我们就算好了Q矩阵，然后我们可以求极限分布了，记得求极限要用前向方程

$$\Pi Q=0$$

  然后我们可以得到下列的式子

$$\begin{gathered} -{\pi }_0{\lambda }_0+{\pi }_1\mu =0 \\ {\pi }_0\lambda -(\lambda +\mu ){\pi }_1+\mu {\pi }_2=0 \\ {\pi }_1\lambda -(\lambda +\mu ){\pi }_2+\mu {\pi }_3=0 \end{gathered}$$

  可以得到

$$\begin{gathered} {\pi }_1=\frac{\lambda }{\mu }{\pi }_0 \\ {\pi }_2=\frac{\lambda }{\mu }{\pi }_1=(\frac{\lambda }{\mu }{)}^2{\pi }_0 \\ {\pi }_n=(\frac{\lambda }{\mu }{)}^n{\pi }_0 \end{gathered}$$

  值得注意的是，我们还必须要假设buffer是无穷大的，不然队伍太长的就会溢出。

  我们还需要对π做归一化

$$\begin{gathered} \sum _{k=0}^{\infty }{\pi }_k={\pi }_0\sum _{k=0}^{\infty }(\frac{\lambda }{\mu }{)}^k \\ \frac{\lambda }{\mu }<1 \end{gathered}$$

  这里我们注意到，如果想要做归一化，还需要考虑这个级数是否收敛的问题，这里底数必须小于1

$$\begin{gathered} \sum _{k=0}^{\infty }{\pi }_k={\pi }_0\sum _{k=0}^{\infty }(\frac{\lambda }{\mu }{)}^k={\pi }_0\frac{1}{1-\frac{\lambda }{\mu }} \\ =\frac{\mu }{\mu -\lambda }{\pi }_0=1\Rightarrow {\pi }_0=1-\frac{\lambda }{\mu } \\ {\pi }_k={\pi }_0(\frac{\lambda }{\mu }{)}^k=(1-\frac{\lambda }{\mu })(\frac{\lambda }{\mu }{)}^k \end{gathered}$$

2.3 平均队长

  我们已经知道了各个队长的概率，下面可以计算队长的均值了

$$\begin{gathered} E(L)=\sum _{k=0}^{\infty }k{\pi }_k=\sum _{k=1}^{\infty }k(1-\frac{\lambda }{\mu })(\frac{\lambda }{\mu }{)}^k \\ =(1-\frac{\lambda }{\mu })\sum _{k=1}^{\infty }k(\frac{\lambda }{\mu }{)}^k \end{gathered}$$

  这是级数求和

$$\begin{gathered} a<1 \\ Rightarrow\sum _{k=1}^{\infty }k{a}^k=a\sum _{k=1}^{\infty }k{a}^{k-1}=a\sum _{k=1}^{\infty }(a^k{)}^{\prime } \\ =a(\sum _{k=1}^{\infty }{a}^k{)}^{\prime }=a(\sum _{k=0}^{\infty }{a}^k-1{)}^{\prime } \\ =a(\frac{1-a^k}{1-a}-1{)}^{\prime } \\ =a(\frac{1}{1-a}-1{)}^{\prime }=\frac{a}{(1-a{)}^2} \end{gathered}$$

  把这个结论代入队长的均值中

$$\begin{gathered} E(L)=(1-\frac{\lambda }{\mu })\sum _{k=1}^{\infty }k(\frac{\lambda }{\mu }{)}^k \\ =(1-\frac{\lambda }{\mu })\frac{\frac{\lambda }{\mu }}{(1-\frac{\lambda }{\mu }{)}^2}=\frac{\frac{\lambda }{\mu }}{(1-\frac{\lambda }{\mu })} \\ =\frac{\lambda }{\mu -\lambda } \end{gathered}$$

2.4 平均等待时间

  然后计算一下平均等待时间,等待时间包括两部分，一部分是纯等待时间，一部分是服务时间。我们假设队长L是顾客到达的时候前面的人数，则等待时间=自身服务时间S+队长*S

  队长和服务时间的独立的，可以拆开

$$E(w)=E(LS+S)=E((L+1)S)=E（L+1)\ast E(S)=(\frac{\lambda }{\mu -\lambda }+1)(\frac{1}{\mu })=\frac{1}{\mu -\lambda }$$

2.5 little’s formula

  我们可以发现，平均队长就是平均等待时间乘以强度

$$E(\omega )\lambda =E(L)$$

  这个关系叫做little’s formula

$$\text{little’s formula}$$

  我们可以理解为，刚来的时候排队在队尾，当随着队伍前进，成为第一个人的时候，后面又来了一些人，成为了新的队伍。在排队等待的时候，就是那些人来的时候，因此可以理解为路程(队长) = 速度(强度)*时间(等待时间)

  我们得到的这个公式应用非常广泛，不仅仅是MM1模型，这个公式是排队论的核心，很多其他的排队模型往往也能得到这个结论。