马尔可夫链的性质和例子

马尔可夫链的重要性质以及两个例题如下：

再看另一个例题：

注意：

1. 例5中有几个地方需要注意：
   （1）为什么$P_{11}=P_{22}=pq+(1-p)(1-q)，而P_{33}=pq+(1-p)$?这里要看到上述题目中的限制条件，“一个需要服务的顾客到达系统时发现系统内有3个顾客则该顾客即离去”。因此，当顾客数是3时，不会发生q或者1-q。
   （2）为什么$P_{ij}=0(|i-j|\ge 2)$?请看下面第3点的论述。
   （3）为什么$\Delta t\to 0$的真是含义是什么？当$\Delta t\to 0$时，在此时间间隔内，事件发生两次的概率极限为0。
2. 思考一下，例6中哪里体现了马尔可夫过程的齐次性呢？所有的条件转移概率都用$P_{ij}(1)$来代替，既体现了马尔可夫链的齐次性原理。
3. 第一张图中的(1.7)和 (1.7)'阐述了一个重要的结论，“马氏链在任一时刻的一维分布由初始分布p(0)和n步转移概率矩阵所确定”，该结论结合了线性代数中的矩阵乘法和矩阵正交化、矩阵分解等知识，将马尔可夫过程中的概率问题转换为线性代数和高等数学问题来求解。
4. 对第3点的进一步分析。结合如下两个矩阵A与B，考虑矩阵乘法的含义。
   $$\begin{gathered} AB=\left[\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\end{array}\right]\left[\begin{array}{ccc}{y}_{11}& y_{12}& y_{13}\\ y_{21}& y_{22}& y_{23}\\ y_{31}& y_{32}& y_{33}\end{array}\right]= \\ \left[\begin{array}{ccc}{x}_{11}{y}_{11}+x_{12}{y}_{21}+x_{13}{y}_{31}& x_{11}{y}_{12}+x_{12}{y}_{22}+x_{13}{y}_{32}& x_{11}{y}_{13}+x_{12}{y}_{23}+x_{13}{y}_{33}\end{array}\right]=C \end{gathered}$$

$$\begin{gathered} 首先，A代表初始的行矩阵，B矩阵中的向量元素是这样排列组合的：每一个元素的行列坐标， \\ 表示从行序号转移到列序号的转移概率，代表的是变量在随机过程所有的两个元素的之间的转移概率， \\ x和y的矩阵乘法运算，可以算出从初始位置到不同终止位置的转移概率: \end{gathered}$$
$$\begin{gathered} [A][B]=\left[\begin{array}{ccc}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{ccc}{y}_{11}& y_{12}& y_{13}\\ y_{21}& y_{22}& y_{23}\\ y_{31}& y_{32}& y_{33}\end{array}\right]= \\ \left[\begin{array}{ccc}{x}_1{y}_{11}+x_2{y}_{21}+x_3{y}_{31}& x_1{y}_{12}+x_2{y}_{22}+x_3{y}_{32}& x_1{y}_{13}+x_2{y}_{23}+x_3{y}_{33}\end{array}\right] \end{gathered}$$

结合上图，即可明白矩阵乘法和马尔可夫转移概率矩阵的关系。也就是说，马尔可夫初始向量乘以马尔可夫一步转移矩阵后，所得到的新矩阵元素，正好是马尔可夫一步转移概率。因此，乘以两次马尔可夫一步转移矩阵后，正好是马尔可夫2步转移概率矩阵。

从C矩阵的元素下标可以看出，x与y中元素的关系是，x元素的列坐标等于y的行坐标。
P { X n = a j } = ∑ i = 1 + ∞ P { X n = a j , X 0 = a i } = ∑ i = 1 + ∞ P { X n = a j ∣ X 0 = a i } P { X 0 = a i } = ∑ i = 1 + ∞ P i ( 0 ) P i j ( n ) P \{X_n = a_j\} =\sum_{i =1} ^{+\infty} P \{X_n = a_j,X_0 = a_i\} = \\ \sum_{i =1} ^{+\infty} P \{X_n = a_j|X_0 = a_i\} P\{ X_0 = a_i\} = \sum_{i =1} ^{+\infty} P_{i}(0) P_{ij}(n) P{Xn​=aj​}=i=1∑+∞​P{Xn​=aj​,X0​=ai​}=i=1∑+∞​P{Xn​=aj​∣X0​=ai​}P{X0​=ai​}=i=1∑+∞​Pi​(0)Pij​(n)
结合此公式可以看出，因为$P_i$是行向量，故$P_i$中省略了行号而只有列号，用初始的$P_i$向量乘以马尔可夫转移矩阵后，所得到的行向量，其元素的列坐标即为马尔可夫转移概率的目标下标。
5. 考虑马尔可夫转移概率的步长。
$$\begin{gathered} ABB=\left[\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\end{array}\right]\left[\begin{array}{ccc}{y}_{11}& y_{12}& y_{13}\\ y_{21}& y_{22}& y_{23}\\ y_{31}& y_{32}& y_{33}\end{array}\right]\left[\begin{array}{ccc}{y}_{11}& y_{12}& y_{13}\\ y_{21}& y_{22}& y_{23}\\ y_{31}& y_{32}& y_{33}\end{array}\right]= \\ \left[\begin{array}{ccc}{x}_{11}{y}_{11}+x_{12}{y}_{21}+x_{13}{y}_{31}& x_{11}{y}_{12}+x_{12}{y}_{22}+x_{13}{y}_{32}& x_{11}{y}_{13}+x_{12}{y}_{23}+x_{13}{y}_{33}\end{array}\right]\left[\begin{array}{ccc}{y}_{11}& y_{12}& y_{13}\\ y_{21}& y_{22}& y_{23}\\ y_{31}& y_{32}& y_{33}\end{array}\right]= \\ {\left[\begin{array}{c}{x}_{11}{y}_{11}{y}_{11}+x_{12}{y}_{21}{y}_{11}+x_{13}{y}_{31}{y}_{11}+x_{11}{y}_{12}{y}_{21}+x_{12}{y}_{22}{y}_{21}+x_{13}{y}_{32}{y}_{21}+x_{11}{y}_{13}{y}_{31}+x_{12}{y}_{23}{y}_{31}+x_{13}{y}_{33}{y}_{31}\\ x_{11}{y}_{11}{y}_{12}+x_{12}{y}_{21}{y}_{12}+x_{13}{y}_{31}{y}_{12}+x_{11}{y}_{12}{y}_{22}+x_{12}{y}_{22}{y}_{22}+x_{13}{y}_{32}{y}_{22}+x_{11}{y}_{13}{y}_{32}+x_{12}{y}_{23}{y}_{32}+x_{13}{y}_{33}{y}_{32}\\ x_{11}{y}_{11}{y}_{13}+x_{12}{y}_{21}{y}_{13}+x_{13}{y}_{31}{y}_{13}+x_{11}{y}_{12}{y}_{23}+x_{12}{y}_{22}{y}_{23}+x_{13}{y}_{32}{y}_{23}+x_{11}{y}_{13}{y}_{33}+x_{12}{y}_{23}{y}_{33}+x_{13}{y}_{33}{y}_{33}\end{array}\right]}^T=D \end{gathered}$$
从上式可以看出，马尔可夫转移概率其步长，即为矩阵乘法的次数。