马尔科夫过程——收银台案例

前言

假设你来到一个商场购物，并观察某一个收银台的排队情况，在每个时刻，都可能会有人过来排队，也可能会有人结账离开，对于排队的情况，每个时刻是否有人加入队伍服从伯努利分布，即每个时刻都有$p$的概率有一个新的人加入队伍。同样地，对于结账离开的情况，每个时刻有人结账离开的概率为$q$。

问题描述

为了表示方便，将所有的时刻进行等间隔离散化表示，即时间从$n=0,...,1$，对应上图的情况，以作者开始观察的时间记为开始，在第2，第6时刻有人加入队伍，在第4，第6时刻有人结账离开，现在考虑一下问题：

1. 在第一个时间步内观察到有人离开的概率是多少？
如果在你到达队伍的时候，已经有人在排队，那么这个概率就是$q$，如果到达的时候队伍为空，这个概率就是0.
2. 在第10个时间步内，队列是否为空？
要回答这个问题比较困难，如果一开始队伍很长，经过10个时刻之后队伍为空的概率要远小于一开始队伍中基本没有人的情况。

从上面两个问题和答案可以看出，了解任意时刻的队伍中人的数量不仅可以很好地描述当时系统的情况，并且可以捕获关于系统未来情况的某些信息。因此，我们将该系统中时刻$n$所对应的顾客数量称为“状态”（state），记为$X_n$，然后看接下来可以做什么。

马尔科夫过程

根据上面给出的定义，可以写出该案例中每个状态的值，即每个时刻对应的顾客的数目：

假设现在超市的空间有限，每个时刻的顾客数目不能够超过10人，那么对于这个系统来说，一共有11中可能的状态，即：

如果此时队伍所处的状态为2，也就是队伍中此时有2个人，此时有一个人加入队伍而没有人结账离开，这对应的也是本例中时刻2的情况，那么它将从状态2转移到状态3；如果现在处于状态3，没有人加入队伍，而有人结账离开，也就是在时刻4所发生的事情，那么系统将从状态3转移到状态2；系统原本的状态是2，在第5个时刻，没有人加入也没有人离开，在第6个时刻，有人加入同时又有人结账离开，那么系统仍然回到原来的状态，可以画成下图：

相应地，我们可以表示出在任意一个状态向其他状态转移的示意图，并写上每种转移发生的概率：

在任意状态下，如果将所有可能的转移情况相加，得到的概率之和为1，即$q(1-p)+p(1-q)+pq+(1-p)(1-q)=1$；同样地，在0状态下，$1-p+p=1$，在10状态也是一样。
上面的这个转移概率图（transition probability graph）就是对该案例的离散时间有限状态马尔科夫链的描述。