马尔可夫链原理

@BCKou

马尔可夫链模型

1.1 马尔可夫过程

马尔可夫过程（Markov process）是一个典型的随机过程。

• 打个比方，就像是一种漫步，没有既定的目标。每一步仅仅取决于前一步走到哪里，而且有若干个可能性。
• 该过程是研究一个系统的状况及其转移的理论。
• 它是通过对不同状态的初始概率以及状态之间的转移概率的研究，来确定状态的变化趋势，从而达到对未来进行预测的目的。

马尔可夫过程两个基本特征：

• 一：“无后效性”，即事务将来的状态及其出现的概率的大小，只取决于该事物现在所处的状态，而与以前时间的状态无关，即不依赖于它以往的演变；
• 二：“遍历性”，是指不管事物现在处于什么状态，在较长时间内，马尔可夫过程逐渐趋于稳定状态，而且与初始状态无关。

在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所做的布朗运动、传染病受感染的人数、商品的存货问题、银行的排队等待人数等。

数学语言描述马尔可夫过程：
设$X(t)，t\in T$为随机过程，若在$t_1,t_2,...,t_{n-1},t_n(t_1<t_2<...<t_{n-1}<t_n\in T)$时刻对$X(t)$观测得到相应的观测值$x_1,x_2,...,x_{n-1},x_n$满足条件
P { X ( t n ) ≤ x n ∣ X ( t n − 1 ) = x n − 1 , X ( t n − 2 ) = x n − 2 , . . . , X ( t 1 ) = x 1 } = P { X ( t n ) ≤ x n ∣ X ( t n − 1 ) = x n − 1 } P\{X(t_n)≤x_n|X(t_{n-1})=x_{n-1},X(t_{n-2})=x_{n-2},...,X(t_1)=x_1\}\\=P\{X(t_n)≤x_n|X(t_{n-1})=x_{n-1}\} P{X(tn​)≤xn​∣X(tn−1​)=xn−1​,X(tn−2​)=xn−2​,...,X(t1​)=x1​}=P{X(tn​)≤xn​∣X(tn−1​)=xn−1​}
或
$$\begin{gathered} F_X(x_n;t_n|x_{n-1},x_{n-2},...,x_2,x_1;t_{n-1},t_{n-2},...,t_2,t_1) \\ =F_X(x_n;t_n|x_{n-1};t_{n-1}) \end{gathered}$$
则称此过程为具有马尔可夫性质的过程或者马尔可夫过程，简称马氏过程。
其中
$$F_X(x_n;t_n|x_{n-1},x_{n-2},...,x_2,x_1;t_{n-1},t_{n-2},...,t_2,t_1)$$
代表在$X(t_{n-1})=x_{n-1},X(t_{n-2})=x_{n-2},...,X(t_1)=x_1$的条件下时刻$X(t_n)$取$x_n$值的条件分布函数。

若把$t_{n-1}$时刻看成“现在”，因为$t_1<t_2<...<t_{n-1}<t_n$,则$t_n$就可以看成“将来”，$t_1,t_2,...,t_{n-2}$就当做“过去”。因此上述定义可以表述为现在的状态$X(t_{n-1})$取值为$x_{n-1}$的条件下，将来状态$X(t_n)$的取值与过去状态$X(t_1),X(t_2),...,X(t_{n-2})$的取值时无关的。

是不是所有的问题都可以套用马尔可夫过程？

• 马尔可夫链需要追踪一个对象（如客户）随时间在不同状态间的流转，其行为有重复性。
• 且客户每次只能选取一个状态：或停留在目前状态，或脱离目前状态，进入另一个状态。

1.2 马尔可夫链

马尔可夫链是一个预测工具。假定客户面临的选择空间可以划分 n 个互斥的状态，客户的长期动向可以用在不同状态间的转移来进行描述。

• 转移具有两个重要的特征：随机，无后效（或称无记忆）。
  • 这种特性使得对客户长期行为的预测可以分割为若干个独立单元，每个时点的状态由前一刻所处状态和代表所有可能性的转移概率矩阵决定。

建立马尔可夫链模型步骤：

• ① 设定状态
  • 状态可能是给定的，如不同品牌；或需要根据数据分析结果划分；
  • 当变量过多时，可以考虑聚类分析或者决策树
• ② 计算转移概率矩阵
  • 在建造转移概率矩阵时，可以直接使用观察数据，或者专家意见赋值。
  • 也可以利用模型，如多状态逻辑回归、决策树、神经网络、或随机函数模型。
    • 模型的优点是可以剔除观察数据中的噪声，并细化转移概率，精确到人。
  • 马尔可夫模型假定客户在不同状态间的转移概率是恒定的，不随时间变化。所以对客户各个时点所处状态的估计通过单一转移矩阵的迭代来进行。
• ③ 计算转移的结果

1.2.1 定义

马尔可夫链是指时间和状态参数都是离散的马尔可夫过程，它是最简单的马尔可夫过程。
一般的马尔可夫过程所研究的时间是无限的，是连续变量，其数值是连续不断地，相邻两值之间可作无限分割，且作研究的状态也是无限多的。
而马尔可夫链的时间参数取离散数值。

• 在经济预测中，一般地时间取的是日、月、年。
• 同时马尔可夫链的状态也是有限的。例如，市场销售状态可取“畅销”和“滞销”，两种，市场未来的状态只与现在所处状态有关，而与以前的状态无关（无后效性成立）。

数学语言描述为：
若随机过程$X(n),n\in T$满足条件：
（1）时间集合取非负整数集 T = { 0 , 1 , 2 , . . . } T=\{0,1,2,...\} T={0,1,2,...}对应每个时刻，状态空间是离散集，记作 E = { E 0 , E 1 , E 2 , . . . } E=\{E_0,E_1,E_2,...\} E={E0​,E1​,E2​,...},即$X(n)$是时间状态离散的。
（2）对任意的整数$n\in T$，条件概率满足：
P { X ( n + 1 ) = E n + 1 ∣ X ( n ) = E n , X ( n − 1 ) = E n − 1 , . . . , X ( 0 ) = E 0 } = P { X ( n + 1 ) = E n ∣ X ( n ) = E n } P\{X(n+1)=E_{n+1}|X(n)=E_n,X(n-1)=E_{n-1},...,X(0)=E_0\}\\=P\{X(n+1)=E_n|X(n)=E_n\} P{X(n+1)=En+1​∣X(n)=En​,X(n−1)=En−1​,...,X(0)=E0​}=P{X(n+1)=En​∣X(n)=En​}
则称$X(n),n\in T$为马尔可夫链，并记
P i j ( k ) = P { X ( m + k ) = E j ∣ X ( m ) = E i } , E i , E j ∈ E P_{ij}^{(k)}=P\{X(m+k)=E_j|X(m)=E_i\},E_i,E_j∈E Pij(k)​=P{X(m+k)=Ej​∣X(m)=Ei​},Ei​,Ej​∈E
表示在时刻$m$，系统处于状态$E_i$的条件下，在时刻$m+k$，系统处于状态$E_j$下的概率。

条件概率等式，即$X(n)$在时间$m+k$的状态$X(m+k)=E_j$的概率只与时刻$m$的状态$X(m)=E_i$有关,而与$m$时以前的状态无关,它就是马氏性(无后效性)的数学表达式之一。

1.2.2 相关概念

1.状态与状态变量
状态：客观事物可能出现或存在的状况。例如，商品可能畅销也可能滞销；机器运转可能正常也可能故障等。
在同一事物不同状态之间必须互相独立：不能同时存在两种状态。客观事物的状态不是固定不变的，往往条件变化，状态也会发生变化。如某种产品在市场上本来是滞销的，但由于促销等因素，它便可能变为畅销产品。
一般用状态变量来表示状态：$X_i=i\left(\begin{array}{c}i=1,2,...,N\\ t=1,2,...\end{array}\right)$,它表示随机运动系统，在时刻$t(t=1,2,...)$,所处的状态为$i(i=1,2,...,N)$。

2.状态转移概率及其转移概率矩阵
（1）*一步转移概率矩阵*。假设系统的状态空间为$E=(E_1,E_2,...,E_n)$，而每一个时间系统只能处于其中一个状态，因此每一个状态都有$n$个转向（包含转向自身），即$$E_i\to E_1,E_i\to E_2,...,E_i\to E_i,...,E_i\to E_n$$
在$m$时刻系统处于状态$E_i$的条件下，在$m+k$时刻系统处于状态$E_j$下的条件概率可表示为：
P i j ( k ) = P { X ( m + k ) = E j ∣ X ( m ) = E i } , E i , E j ∈ E P_{ij}^{(k)}=P\{X(m+k)=E_j|X(m)=E_i\},E_i,E_j∈E Pij(k)​=P{X(m+k)=Ej​∣X(m)=Ei​},Ei​,Ej​∈E
特别的，当$k=1$时，
P i j = P { X ( m + 1 ) = E j ∣ X ( m ) = E i } , E i , E j ∈ E P_{ij}=P\{X(m+1)=E_j|X(m)=E_i\},E_i,E_j∈E Pij​=P{X(m+1)=Ej​∣X(m)=Ei​},Ei​,Ej​∈E
即在$m$时刻系统处于状态$E_i$的条件下，在$m+1$时刻系统处于状态$E_j$下的条件概率，称为由状态$E_i$的转移概率。系统所有状态的一步概率的集合所组成的矩阵称为一步状态转移概率矩阵。其形式如下：
此矩阵具有以下两个性质：

• ① 非负性：$$p_{ij}\ge 0，i,j=1,2,...,n$$
• ② 行元素和为1，即
  $$\sum _{j=1}^n{p}_{ij}=1,i=1,2,...,n$$
  （2）*k步转移概率矩阵*由一步转移概率的定义可知，$k$步转移概率就是系统由状态$E_i$经$k$次转移到状态$E_j$的概率，可表示为
  P i j ( k ) = P { X ( m + k ) = E j ∣ X ( m ) = E i } , E i , E j ∈ E P_{ij}^{(k)}=P\{X(m+k)=E_j|X(m)=E_i\},E_i,E_j∈E Pij(k)​=P{X(m+k)=Ej​∣X(m)=Ei​},Ei​,Ej​∈E
  因此，系统的$k$步转移概率矩阵就是由所有状态的$k$步转移概率集合所组成的矩阵。其形式如下：
  此矩阵具有以下三个性质：
• ① 非负性：
  $$p_{ij}^{(k)}\ge 0，i,j=1,2,...,n$$
• ② 行元素和为1，即
  $$\sum _{j=1}^n{p}_{ij}^{(k)}=1，i=1,2,...,n$$
• ③ ${\mathbf{P}}^{(n)}={\mathbf{P}}^{(n-1)}\mathbf{P}={\mathbf{P}}^n$

例题2-1：
有甲、乙、丙三家服装厂生产同一种服装，有1000个用户，假定在研究期间无新用户加入也无老用户退出，只有用户的转移。已知四月有400户是甲厂的顾客；500户是乙厂的顾客；100户是丙厂的顾客。五月，甲厂有300户原来的顾客，上月的顾客有50户转向乙厂，50户转向丙厂；乙厂有300户原来的顾客，上月的顾客有120户转向甲厂，80户转向丙厂；丙厂有60户原来的顾客，上月的顾客有20户转向甲厂，20户转向乙厂。
计算其状态转移概率。
解：
由题意得5月份顾客转移情况如表所示。
表 \quad 5月份顾客转移情况

类别	甲	乙	丙	合计
甲	300	50	50	400
乙	120	300	80	500
丙	20	20	60	100
合计	440	370	190	1000

$$\begin{gathered} P_{11}=\frac{300}{400}=0.75，P_{12}=\frac{50}{400}=0.125，P_{13}=\frac{50}{400}=0.125 \\ {P}_{21}=\frac{120}{500}=0.24，P_{22}=\frac{300}{500}=0.6，P_{23}=\frac{80}{500}=0.16 \\ {P}_{31}=\frac{20}{100}=0.2，P_{32}=\frac{20}{100}=0.2，P_{33}=\frac{60}{100}=0.6 \end{gathered}$$
状态转移概率矩阵：
$$\mathbf{P}=\left[\begin{array}{ccc}{P}_{11}& P_{12}& P_{13}\\ P_{21}& P_{22}& P_{23}\\ P_{31}& P_{32}& P_{33}\end{array}\right]=\left[\begin{array}{ccc}0.75& 0.125& 0.125\\ 0.24& 0.6& 0.16\\ 0.2& 0.2& 0.6\end{array}\right]$$

例题2-2：
某公司的市场有三种状态$E_1、E_2、E_3$(如畅销、一般、滞销)，公司市场的转移情况如表所示。试求公司市场的两步状态转移概率矩阵。
表 公司市场状态转移情况

解：
首先写出一步转移概率矩阵
$${\mathbf{P}}^{(1)}=\left[\begin{array}{ccc}0.500& 0.167& 0.333\\ 0.444& 0.222& 0.334\\ 0.500& 0.400& 0.100\end{array}\right]$$
两步状态转移概率矩阵可由一步转移概率矩阵通过公式${\mathbf{P}}^{(n)}={\mathbf{P}}^n$计算求出：
$${\mathbf{P}}^{(2)}={\mathbf{P}}^2={\left[\begin{array}{ccc}0.500& 0.167& 0.333\\ 0.444& 0.222& 0.334\\ 0.500& 0.400& 0.100\end{array}\right]}^2=\left[\begin{array}{ccc}0.491& 0.254& 0.255\\ 0.488& 0.257& 0.255\\ 0.478& 0.212& 0.310\end{array}\right]$$

3.稳态概率
马尔可夫链达到稳定状态时的状态概率就是稳定状态概率，也称为稳态概率。马尔可夫链在一定条件下，经过$k$步转移后，会达到稳定状态。
（1）稳定状态的条件。如果一步转移概率矩阵是正规概率矩阵（正规矩阵在数学中是指与自己的共轭转置矩阵对应的复系数方块矩阵。），则马尔可夫链能够达到稳定状态。
（2）稳定概率的求解。由马尔可夫链稳定状态定义可知，处于稳定状态时，由${\mathbf{S}}^{(k+1)}={\mathbf{S}}^{(k)}$，即${\mathbf{S}}^{(k+1)}={\mathbf{S}}^{(k)}\mathbf{P}={\mathbf{S}}^{(k)}$。
假设$$\{\begin{array}{r}{\mathbf{S}}^{(k)}=(x_1,x_2,...,x_n)\\ {\mathbf{S}}^{(k+1)}={\mathbf{S}}^{(k)}\cdot \mathbf{P}={\mathbf{S}}^{(k)}\end{array}$$，且${\sum }_{i=1}^n=1$是经$k$步转移后的状态向量，一步转移概率矩阵为
$$\mathbf{P}=\left[\begin{array}{c}{P}_{11}{P}_{12}...P_{1n}\\ P_{21}{P}_{22}...P_{2n}\\ \\ ............\\ \\ P_{n1}{P}_{n2}...P_{nn}\end{array}\right]$$
根据${\mathbf{S}}^{(k+1)}={\mathbf{S}}^{(k)}\cdot \mathbf{P}={\mathbf{S}}^{(k)}$展开为
$$(x_1,x_2,...,x_n)\left[\begin{array}{c}{P}_{11}{P}_{12}...P_{1n}\\ P_{21}{P}_{22}...P_{2n}\\ \\ ............\\ \\ P_{n1}{P}_{n2}...P_{nn}\end{array}\right]={\mathbf{S}}^{(k)}=(x_1,x_2,...,x_n)$$
通过计算，得出如下方程组：
$$\{\begin{array}{r}{P}_{11}{x}_1+P_{21}{x}_2+...+P_{n1}{x}_n=x_1\\ P_{12}{x}_1+P_{22}{x}_2+...+P_{n2}{x}_n=x_2\\ ...\\ P_{1n}{x}_1+P_{2n}{x}_2+...+P_{nn}{x}_n=x_n\\ x_1+x_2+...+x_n=1\end{array}$$
移项得
$$\{\begin{array}{r}(P_{11}-1)x_1+P_{21}{x}_2+...+P_{n1}{x}_n=0\\ P_{12}{x}_1+(P_{22}-1)x_2+...+P_{n2}{x}_n=0\\ ...\\ P_{1n}{x}_1+P_{2n}{x}_2+...+(P_{nn}-1)x_n=0\\ x_1+x_2+...+x_n=1\end{array}$$
上式中存在$n$个变量，却有$n+1$个方程，说明其中一个方程不独立，需要消去其中第$n$个方程：
$$\left[\begin{array}{ccccc}(P_{11}-1)& P_{21}& ...& P_{n1}& \\ P_{12}& (P_{22}-1)& ...& P_{n2}& \\ ...& ...& ...& ...& \\ P_{1n}& P_{2n}& ...& P_{nn}& \\ 1& 1& ...& 1& \end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ ...\\ 1\end{array}\right]$$
令
$${\mathbf{P}}_1=\left[\begin{array}{ccccc}(P_{11}-1)& P_{21}& ...& P_{n1}& \\ P_{12}& (P_{22}-1)& ...& P_{n2}& \\ ...& ...& ...& ...& \\ P_{1n}& P_{2n}& ...& (P_{nn}-1)& \\ 1& 1& ...& 1& \end{array}\right]，{\mathbf{X}}^{(n)}=\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]，\mathbf{B}=\left[\begin{array}{c}0\\ 0\\ ...\\ 1\end{array}\right]$$
则$$\begin{gathered} {\mathbf{P}}_1{\mathbf{X}}^{(n)}=\mathbf{B} \\ {\mathbf{X}}^{(n)}={\mathbf{P}}_1^{(-1)}\mathbf{B} \end{gathered}$$
即求得${\mathbf{X}}^{(n)}$是马尔可夫链得稳态概率。

1.3 马尔科夫链模型的分类

1.3.1 连续时间马尔科夫链

定义：设随机过程 { X ( t ) , t ≥ 0 } \{\mathbf{X}(t),t≥0\} {X(t),t≥0}，状态空间 I = { i n , n ≥ 0 } I=\{i_n,n≥0\} I={in​,n≥0}，若对任意$0\le t_1<t_2<...<t_{n+1}$及$i_1,i_2,...,i_{n+1}\in I$，有
P { X ( t n + 1 ) = i n + 1 ∣ X ( t 1 ) = i 1 , X ( t 2 ) = i 2 , . . . , X ( t n ) = i n } = P { X ( t n + 1 ) = i n + 1 ∣ X ( t n ) = i n } P\{X(t_{n+1})=i_{n+1}|X(t_1)=i_1,X(t_2)=i_2,...,X(t_n)=i_n\}\\=P\{X(t_{n+1})=i_{n+1}|X(t_{n})=i_n\} P{X(tn+1​)=in+1​∣X(t1​)=i1​,X(t2​)=i2​,...,X(tn​)=in​}=P{X(tn+1​)=in+1​∣X(tn​)=in​}
则称 { X ( t ) , t ≥ 0 } \{X(t),t≥0\} {X(t),t≥0}为连续时间马尔可夫链。
上式中条件概率的一般表现形式为
P { X ( s + t ) = j ∣ X ( s ) = i } = p i j ( s , t ) P\{X(s+t)=j| X(s)=i\}= p_{ij}(s,t) P{X(s+t)=j∣X(s)=i}=pij​(s,t)
定义：若$p_{ij}(s,t)$的转移概率与$s$无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为
$$p_{ij}(s,t)=p_{ij}(t)$$
其转移概率矩阵简记为
$$\mathbf{P}(t)=(p_{ij}(t))$$
一个连续时间的马尔可夫链，每当它进人状态$i$，具有如下性质：
（1）在转移到另一状态之前处于状态$i$的时间服从参数为$v_i$的指数分布;
（2）当过程离开状态$i$时，接着以概率$p_{ij}$进人状态$j$，${\sum }_{j\ne i}{p}_{ij}=1$。
当$v_i=\infty$时，称状态$i$为瞬时状态;
当$v_i=0$时，称状态$i$为吸收状态。
一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前，它在各个状态停留的时间服从指数分布，此外在状态$i$过程停留的时间与下一个到达的状态必须是相互独立的随机变量。

1.3.2 隐马尔可夫模型

隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每–个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程——具有定状态数的隐 马尔可夫链和显示随机函数集。

• 自20世纪以来 ，隐马尔可夫模型被应用于语音识别、计算机文字识别、移动通信核心技术“多用户的检测”以及生物信息科学、故障诊断等领域。

隐马尔可夫模型(HMM)可以用5个元素来描述,包括2个状态集合和3个概率矩阵。

• (1)隐含状态$\mathbf{S}$。这些状态之间满足马尔可夫性质，是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到(如$S_1,S_2,S_3$等)。
• (2)可观测状态$\mathbf{O}$。在模型中与隐含状态相关联,可通过直接观测而得到。(如如$O_1,O_2,O_3$等，可观测状态的数目不一定要和隐含状态的数目一致。)
• (3)初始状态概率矩阵$\mathbf{\Pi }$。表示隐含状态在初始时刻$t=1$的概率矩阵,如$t=1$时，$P(S_1)=p_1,P(S_2)=p_2,P(S_3)=p_3$，则初始状态概率矩阵$\mathbf{\Pi }=[p_1,p_2,p_3]$。
• (4)隐含状态转移概率矩阵$\mathbf{A}$。它描述了隐马尔可夫模型中各个状态之间的转移概率。其中$A_{i}j=P(S_j|S_i),1\le i,j\le N$,表示在$t$时刻、状态为$S_i$的条件下，在$t+1$时刻状态是$S_j$的概率。
• (5)观测状态转移概率矩阵$\mathbf{B}$.令$N$代表隐含状态数目,$M$代表可观测状态数目，则$$B_{ij}=P(O_i|S_j),1\le i\le M,1\le j\le N$$表示在$t$时刻、隐含状态时$S_j$条件下，观察状态为$O_i$的概率。

可以用$\lambda =(\mathbf{A},\mathbf{B},\mathbf{\Pi })$三元组来简介地表示一个隐马尔可夫模型。隐马尔可夫模型实际上是标准马尔可夫模型的扩展，添加了可观测状态集合和这些状态与隐含状态直接按的概率关系。

1.4 马尔科夫链模型的应用

马尔可夫分析法(Markovanalysis)又称为马尔可夫转移矩阵法，是指在马尔可夫过程的假设前提下，通过分析随机变量的现时变化情况来预测这些变量
未来变化情况的种预测方法。

马尔可夫链预测方法的最简单类型是预测下期最可能出现的状态。步骤如下:

• 第一步:划分预测对象所出现的状态。从预测目的出发，考虑决策需要来划分现象所处的状态。
• 第二步:计算初始概率。据实际问题分析历史资料所得的状态概率称为初始概率。
• 第三步:计算状态转移概率。
• 第四步:根据转移概率进行预测。

由状态转移概率矩阵$\mathbf{P}$，如果目前预测对象处于状态$E_i$，这时$P_{ij}$就描述了目前状态$E_i$在未来将转向状态$E_j(j=1,2,...,N)$的可能性。按最大可能性作为选择原则：选择$P_{j1},P_{j2},...,P_{jN},$中最大者为预测结果。

应用一：计算市场占有率

广州、深圳和我国澳门特区生产并销售某种食材，要预测在未来若干个月以后的市场占有情况。具体步骤为:

第一步:进行市场调查

• (1)目前市场占有情况(顾客购买广州、深圳、我国澳门特区食材的比例)。
  结果:购买广州食材的占40%，买深圳、我国澳门特区的各占30%，(40%、30%、30%)称为目前市场的占有分布或称初始分布。
• (2)调查顾客的流动情况。
  流动情况为:
  • ①上月购买广州食材的顾客，本月仍有40%继续购买，各有30%转向购买深圳和我国澳门特区食材。
  • ②上月购买深圳食材的顾客,本月有60%转向购买广州食材，30%仍购买深圳食材，10%转向购买我国澳门特区食材。
  • ③上月购买我国澳门特区食材的顾客，本月有60%转向购买广州食材，10%转向鹏买深圳食材，30%仍购买我国澳门特区食材。

第二步:建立数学模型

为运算方便，以1、2、3分别代表广州、深圳、我国澳门特区食材，根据市场调查的结果,得到顾客购买食材的流动情况如表所示，

表 顾客购买食材的流动情况

类比	广州	深圳	我国澳门特区
广州	40%	30%	30%
深圳	60%	30%	10%
澳门	60%	10%	30%

$$\mathbf{P}=\left[\begin{array}{ccc}{P}_{11}& P_{12}& P_{13}\\ P_{21}& P_{22}& P_{23}\\ P_{31}& P_{32}& P_{33}\end{array}\right]=\left[\begin{array}{ccc}0.4& 0.3& 0.3\\ 0.6& 0.3& 0.1\\ 0.6& 0.1& 0.3\end{array}\right]$$

第三步：进行市场预测
设初始市场占有的分布情况为$(P_1,P_2,P_3)=(0.4,0.3,0.3)$，三个月以后的市场占有分布是$(P_1(3),P_2(3),P_3(3))$。
如果顾客流动趋势长期稳定下去，则经过一段时期以后的市场占有率将出现稳定的平衡状态。
$$\begin{gathered} (P_1(n),P_2(n),P_3(n))=(P_1,P_2,P_3)\left[\begin{array}{ccc}{P}_{11}(n)& P_{12}(n)& P_{13}(n)\\ P_{21}(n)& P_{22}(n)& P_{23}(n)\\ P_{31}(n)& P_{32}(n)& P_{33}(n)\end{array}\right] \\ =(P_1,P_2,P_3){\left[\begin{array}{ccc}{P}_{11}& P_{12}& P_{13}\\ P_{21}& P_{22}& P_{23}\\ P_{31}& P_{32}& P_{33}\end{array}\right]}^n \end{gathered}$$
所谓稳定的市场平衡状态，指在顾客流动过程中，每种产品丧失的顾客数与新增的顾客数量相抵消。

第四步：预测长期的市场占有率

由于一步转移概率矩阵$P$是正规概率矩阵，所以长期的市场占有率为平衡状态下的市场占有率，亦即马尔可夫链的平稳分布。
设长期的市场占有率为$\mathbf{X}=(x_1,x_2,x_3)$，则有
$$\{\begin{array}{r}(x_1,x_2,x_3)\left[\begin{array}{ccc}0.4& 0.3& 0.3\\ 0.6& 0.3& 0.1\\ 0.6& 0.1& 0.3\end{array}\right]=(x_1,x_2,x_3)\\ x_1+x_2+...+x_n=1\end{array}$$
得$\mathbf{X}=(x_1,x_2,x_3)=(0.5,0.25,0.25)$

应用二：人力资源预测

某公司职工级别分为5种：实习生、普通职工、总监、总经理、离职。目前状态(550人)：$\mathbf{P}(0)=(135,240,115,60,0)$
公司以往的记录为
$$\mathbf{P}=\left[\begin{array}{ccccc}0.6& 0.4& 0& 0& 0\\ 0& 0.6& 0.25& 0& 0.15\\ 0& 0& 0.55& 0.21& 0.24\\ 0& 0& 0& 0.8& 0.2\\ 0& 0& 0& 0& 1\end{array}\right]$$
试分析三年后职工结构以及三年内保持职工分布不变(550名)应招聘多少新员工充实金职工队伍。

解：
一年后职工人员分布：
$$\begin{gathered} \mathbf{P}(1)=\mathbf{P}(0)\cdot \mathbf{P} \\ =(135,240,115,60,0)\left[\begin{array}{ccccc}0.6& 0.4& 0& 0& 0\\ 0& 0.6& 0.25& 0& 0.15\\ 0& 0& 0.55& 0.21& 0.24\\ 0& 0& 0& 0.8& 0.2\\ 0& 0& 0& 0& 1\end{array}\right] \\ =(81,198,123,72,76) \end{gathered}$$
要保持550名的总人数，离职76人，故第二年应招聘76位新员工：
$${\mathbf{P}}^{\prime }(1)=(81+76,198,123,72,0)$$
第二年后职工人员分布：
$$\begin{gathered} \mathbf{P}(2)={\mathbf{P}}^{\prime }(1)\cdot \mathbf{P} \\ =(157,198,123,72,76)\left[\begin{array}{ccccc}0.6& 0.4& 0& 0& 0\\ 0& 0.6& 0.25& 0& 0.15\\ 0& 0& 0.55& 0.21& 0.24\\ 0& 0& 0& 0.8& 0.2\\ 0& 0& 0& 0& 1\end{array}\right] \\ =(94,182,117,83,74) \end{gathered}$$
要保持总人数不变，应补充74人：
$${\mathbf{P}}^{\prime }(2)=(94+74,182,117,83,0)$$
第三年后职工人员分布：
$$\begin{gathered} \mathbf{P}(3)={\mathbf{P}}^{\prime }(2)\cdot \mathbf{P} \\ =(168,182,117,83,0)\left[\begin{array}{ccccc}0.6& 0.4& 0& 0& 0\\ 0& 0.6& 0.25& 0& 0.15\\ 0& 0& 0.55& 0.21& 0.24\\ 0& 0& 0& 0.8& 0.2\\ 0& 0& 0& 0& 1\end{array}\right] \\ =(101,176,111,91,72) \end{gathered}$$
补充72人。在第三年年底，职工人员结构为：
$${\mathbf{P}}^{\prime }(3)=(173,176,111,91,0)$$
应用三：利润预测
在第$n$周期的状态用$X_n$表示:
$$X_n=\{\begin{array}{r}1，第n周期产品畅销\\ 2，第n周期产品滞销\end{array}$$
一般地，设 { X n } \{X_n\} {Xn​}是状态空间为 S = { 1 , 2 , . . . , N } S=\{1,2,...,N\} S={1,2,...,N}的齐次马氏链，其转移矩阵为$\mathbf{P}=(P_{ij}{)}_{N✖N}$。

设$r(i)$表示周期系统处于状态$i$时获得的收益。称如此的马尔可夫链具有收益的。$r(i)>0$时称为收益；$r(i)<0$时称为费用。

（1）有限时段期望总收益。记$v_k(i)$表示初始状态为$i$的条件下，到第$k$步状态转移前所获得得期望总收益($k\ge 1,i\in S$):
v k ( i ) = ∑ n = 0 k − 1 第 n 周 期 的 期 望 收 益 = ∑ n = 0 k − 1 E { r ( X n ) ∣ X 0 = i } = ∑ n = 0 k − 1 ( ∑ j = 1 N p i j ( n ) r ( j ) ) v_k(i)=\sum_{n=0}^{k-1}第n周期的期望收益\\=\sum_{n=0}^{k-1}E\{r(X_n)|X_0=i\}\\=\sum_{n=0}^{k-1}(\sum_{j=1}^{N}p_{ij}^{(n)}r(j)) vk​(i)=n=0∑k−1​第n周期的期望收益=n=0∑k−1​E{r(Xn​)∣X0​=i}=n=0∑k−1​(j=1∑N​pij(n)​r(j))
以下面例题说明，$k=4$，以当前月份记为第一个月，求第四步状态转移前（即前四个月）所获得得期望利润$v_4(1)$。
用$r(i)$表示某周期系统处于状态$i$时获得得收益，用1表示畅销，2表示滞销。则
$$\begin{gathered} v_4(1)=r(1)+\sum _{n=1}^{4-1}[p_{11}^{(n)}r(1)+p_{12}^{(n)}r(2)] \\ {v}_4(2)=r(2)+\sum _{n=1}^{4-1}[p_{21}^{(n)}r(1)+p_{22}^{(n)}r(2)] \\ {\mathbf{V}}_4=(v_4(1),v_4(2){)}^T \\ {\mathbf{P}}^n=\left[\begin{array}{cc}{p}_{11}^{(n)}& p_{12}^{(n)}\\ & \\ p_{21}^{(n)}& p_{22}^{(n)}\end{array}\right] \\ \mathbf{r}=(r(1),r(2){)}^T \\ {\mathbf{V}}_4=\mathbf{r}+\sum _{n=1}^{4-1}{\mathbf{P}}^{(n)}\mathbf{r}=\sum _{n=1}^{4-1}{\mathbf{P}}^{(n)}\mathbf{r}=\sum _{n=1}^{4-1}{\mathbf{P}}^n\mathbf{r} \\ =(\sum _{n=1}^{4-1}{\mathbf{P}}^n)\mathbf{r}=(\mathbf{E}+\mathbf{P}+{\mathbf{P}}^2+{\mathbf{P}}^3)\mathbf{r} \end{gathered}$$
（2）无限时段单位时间平均收益
对$i\in S$，定义初始状态为$i$得无限时段单位时间平均收益为
$$v(i)=\underset{k\to \infty }{\lim }\frac{V_k(i)}{k}$$
记$$\begin{gathered} \mathbf{v}=[v(1)v(2)...v(N){]}^T,{\mathbf{V}}_k=(v_k(1),(v_k(2),...,(v_k(N){)}^T \\ {\mathbf{V}}_k=\sum _{n=0}^{k-1}{\mathbf{P}}^n\mathbf{r}=(\mathbf{E}+\mathbf{P}+{\mathbf{P}}^2+...+{\mathbf{P}}^{k-1})\mathbf{r} \end{gathered}$$
则$$V=\underset{k\to \infty }{\lim }\frac{V_k}{k}=\underset{k\to \infty }{\lim }\frac{(E+P+P^2+...+P^{k-1})r}{K}$$
若所考虑的马尔可夫链存在平稳分布
$${\mathbf{P}}^m=\left[\begin{array}{cccc}{p}_{11}^{(m)}& {p_{12}}^{(m)}& ...& {p_{1N}}^{(m)}\\ & & & \\ p_{21}^{(m)}& {p_{22}}^{(m)}& ...& {p_{2N}}^{(m)}\\ & & & \\ ...& ...& ...& ...\\ & & & \\ p_{N1}^{(m)}& {p_{N2}}^{(m)}& ...& {p_{NN}}^{(m)}\end{array}\right]\to \left[\begin{array}{cccc}{\pi }_1& {\pi }_2& ...& {\pi }_N\\ & & & \\ {\pi }_1& {\pi }_2& ...& {\pi }_N\\ & & & \\ ...& ...& ...& ...\\ & & & \\ {\pi }_1& {\pi }_2& ...& {\pi }_N\end{array}\right]$$
可以证明，此时
$$\begin{gathered} \mathbf{v}=\underset{k\to \infty }{\lim }\frac{{\mathbf{V}}_k}{k}=\underset{k\to \infty }{\lim }\frac{(\mathbf{E}+\mathbf{P}+{\mathbf{P}}^2+...+{\mathbf{P}}^{k-1})\mathbf{r}}{k}=\underset{k\to \infty }{\lim }{\mathbf{P}}^k\mathbf{r} \\ =\left[\begin{array}{cccc}{\pi }_1& {\pi }_2& ...& {\pi }_N\\ & & & \\ {\pi }_1& {\pi }_2& ...& {\pi }_N\\ & & & \\ ...& ...& ...& ...\\ & & & \\ {\pi }_1& {\pi }_2& ...& {\pi }_N\end{array}\right]\left[\begin{array}{c}r(1)\\ \\ r(2)\\ \\ ...\\ \\ r(N)\end{array}\right]=\left[\begin{array}{c}{\sum }_{j=1}^N{\pi }_{j}r(j)\\ \\ {\sum }_{j=1}^N{\pi }_{j}r(j)\\ \\ ...\\ \\ {\sum }_{j=1}^N{\pi }_{j}r(j)\end{array}\right] \end{gathered}$$
无限时段单位时间平均收益与初始状态无关，均为
$$v(i)=\sum _{j=1}^N{\pi }_{j}r(j)$$

有限时段期望总收益例题：
某公司生产的电子产品，每月市场状况有畅销和滞销两种。1代表畅销，2代表滞销。如产品畅销获利50万元；滞销将亏损30万元。调查统计了过去24个月的销售纪录如表所示：
表 \quad 过去24个月的销售纪录

月份	1	2	3	4	5	6	7	8	9	10	11	12
销售状态	畅销	畅销	滞销	畅销	滞销	滞销	畅销	畅销	滞销	畅销	畅销	滞销
月份	13	14	15	16	17	18	19	20	21	22	23	24
销售状态	畅销	畅销	滞销	滞销	畅销	畅销	滞销	畅销	畅销	滞销	畅销	畅销

问题：如当前月份该产品畅销，以当前月份记为第一个月，求第四步状态转移前(即前四个月)所获得得期望总利润为多少。
解：
用1表示畅销，2表示滞销。已知
$$\mathbf{r}=\left[\begin{array}{c}r(1)\\ \\ r(2)\end{array}\right]=\left[\begin{array}{c}50\\ \\ -30\end{array}\right]$$
$i=1$，有三种形式的公式：
$$\begin{gathered} v_4(1)=r(1)+\sum _{n=1}^{4-1}[p_{11}^{(n)}r(1)+p_{12}^{(n)}r(2)] \\ {\mathbf{V}}_4=(\sum _{n=0}^{4-1}{\mathbf{P}}^n)r=(\mathbf{E}+\mathbf{P}+{\mathbf{P}}^2+{\mathbf{P}}^3)\mathbf{r} \\ {v}_4(i)=r(i)+\sum _{j=1}^2{p}_{ij}{v}_3(j),i=1,2 \\ {v}_0(i)=0,i=1,2,...,N \end{gathered}$$
求出状态转移概率矩阵$\mathbf{P}$。
估计状态转移矩阵$\mathbf{P}$：以统计频率估计连续畅销的概率。$$p_{11}=\frac{7}{15-1}=50\%$$
分子数7是表中连续出现畅销的次数，分母中的15是表中出现畅销的次数，因为第24个月是畅销，无后续纪录，故减1。
$$\begin{gathered} p_{12}=\frac{7}{15-1}=50\%，p_{21}=\frac{7}{9}=78\%，p_{22}=\frac{2}{9}\approx 22\% \\ \mathbf{P}=\left[\begin{array}{cc}{p}_{11}& p_{12}\\ & \\ p_{21}& p_{22}\end{array}\right]=\left[\begin{array}{cc}0.5& 0.5\\ & \\ 0.78& 0.22\end{array}\right] \\ \mathbf{r}=\left[\begin{array}{c}r(1)\\ \\ r(2)\end{array}\right]=\left[\begin{array}{c}50\\ \\ -30\end{array}\right]，\mathbf{P}=\left[\begin{array}{cc}0.5& 0.5\\ & \\ 0.78& 0.22\end{array}\right] \\ {\mathbf{V}}_4=(\sum _{n=0}^{4-1}{\mathbf{P}}^n)r=(\mathbf{E}+\mathbf{P}+{\mathbf{P}}^2+{\mathbf{P}}^3)\mathbf{r} \\ {\mathbf{V}}_4=\left[\begin{array}{cc}1.875& 0.875\\ & \\ 1.86295& 0.27905\end{array}\right]\left[\begin{array}{c}50\\ \\ -30\end{array}\right]=\left[\begin{array}{c}67.5\\ \\ 54.776\end{array}\right] \end{gathered}$$
结果为：如当前月份该产品畅销，前四个月所获得的期望总利润为67.5万元。

补充：齐次马氏链的定义：若马氏链 { X ( n ) , n ≥ 0 } \{X(n),n≥0\} {X(n),n≥0}的一步转移概率与起始时刻无关，即对任意$m$
p i j ( 1 ) ( m ) = P { X ( m + 1 ) = j ∣ X ( m ) = i } = p i j ( 1 ) = p i j p_{ij}^{(1)}(m)=P\{X(m+1)=j|X(m)=i\}=p_{ij}^{(1)}=p_{ij} pij(1)​(m)=P{X(m+1)=j∣X(m)=i}=pij(1)​=pij​
称 { X ( n ) , n ≥ 0 } 为 齐 次 马 氏 链 \{X(n),n≥0\}为齐次马氏链 {X(n),n≥0}为齐次马氏链。

注：

1. 以后写出一个转移矩阵的时候，该转移矩阵的变量中不包含n（时间），那个这个马氏链应道就是齐次马氏链。
2. 对于k步转移矩阵同理，如果它与时间n无关，那么它也算是齐次马氏链。）

1.5 论文

[1] 谷秀娟,李超.基于马尔科夫链的房价预测研究[J].消费经济,2012,28(05):40-42+48.
[2] 孙红丽,等. 马尔科夫模型在企业人力资源供给预测中的应用[J].华北电力大学学报,2004,31(5):56-58.