马尔科夫过程——马尔科夫链

前言

从上篇的收银台案例中我们可以抽象出来一个关于什么是离散时间有限状态的马尔科夫链的定义。首先，马尔科夫过程的核心，是它关于“状态”的概念，它描述了我们所感兴趣的系统的当前情况。在收银台案例中，任意时刻的顾客数量这一状态可以合适地反应系统的情况，在初始时刻，在每个连续的时间步长内，系统从当前状态，随机选择进入到下一个状态，经过$n$次这样的转换，系统的状态将是随机的，因此我们将时刻$n$对应的状态表示成随机变量$X_n$。

转移概率

假设系统存在的状态数量有限，同时初始状态$X_0$可以是给定的也可以是随机的，即：
对于$X_n$：

1. 属于一个有限集
2. 初始状态可以是给定的也可以是随机的

如果现在停在状态3，由于我们事先假设在任意时刻最多只能有一个人进入或离开队伍，那么下一个时刻的状态不可能是状态1以及之前的，也不可能是状态5及之后的。下一个状态只可能是1,2或者3，我们用$j$表示状态的通用label，则下一个时刻某个状态的概率可以写为条件概率：
$$\begin{array}{rl}{p}_{ij}& =\mathbf{P}\left(X_1=j\mid X_0=i\right)\\ & =\mathbf{P}\left(X_{n+1}=j\mid X_n=i\right)\end{array}$$
从上一个状态$i$转移到下一个状态$j$所对应的概率即为转移概率。
如果在时刻3的时候我们又回到了状态3，此时会有什么影响？
没有影响，因为从此时的状态向下一个状态转移时，转移概率不会有任何变化，也就是说，转移概率与时间无关，这也被称为时间齐次性（time homogeneous）。

同时，下一个时刻的每种状态的概率之和为1，即：
$$\sum _{j=1}^m{p}_{ij}=1$$

马尔科夫属性

无论系统经过怎样的演变到达现在的状态，下一个时刻对于某个状态的转移概率都不会有差异，只与当前时刻的状态有关，而与之前任何时刻的状态无关，用数学语言来描述就是：
$$\begin{array}{rl}{p}_{ij}& =\mathbf{P}\left(X_{n+1}=j\mid X_n=i\right)\\ & =\mathbf{P}\left(X_{n+1}=j\mid X_n=i,X_{n-1},\dots ,X_0\right)\end{array}$$
通俗来讲，拥有关于过去的很多知识并不会影响对于下一个时刻的预测能力。上式中等式所表达的就是马尔科夫属性。想要在其他应用中保留这一属性，需要很仔细的寻找使用什么状态来描述系统，同时又能包含描述该系统的相对比较准确的信息。