姜启源《数学模型》第12章：马氏链模型

应用

它是随即转移过程的工具，某些确定性系统也可以用马氏链模型，下个时期只与这个时期的状态和概率有关，这个时期之前的各个时期都和它没有关系。

12.1健康与疾病

问题简述

保险公司要通过大量数据对状态转变的概率作出估计，确定不同年龄、不同健康状况的人的保险金和理赔金数额。

问题分析

情况1

1. 把人分为健康和疾病两个状态，以年为一个时段假设以下内容
   用随机变量X_n表示第n年的状态，X₁=表示健康，X₂表示疾病，n=0,1,2,…
   用a_i(n)表示第n年处于状态i的概率，i=1,2，即a_i(n)=P(X_n=i)。a_i(n)状态概率。
   用p_ij表示已知今年处于状态i，来年处于状态j的概率，i，j=1,2，即p_ij=P(X_n+1=j|X_n)，p_ij转态转移概率。
   显然第n+1年的状态X_n+1只取决于第n年的转态，与之前的X_n-1，X_n-2，…无关，即状态转移具有无后效性，第n+1年的状态概率可由全概率公式得到
   如果投保人最开始处于健康状态，即a₁(0)=1，a₂(0)=0，由题意得p₁₁=0.8，p₁₂=0.2，p₂₁=0.7，p₂₂=0.3，利用（1）得到以后各年他处于两种状态的概率a₁(n)、a₂(n)，n=1,2，…
   如果投保人开始处于疾病状态，即a₁(0)=0，a₂(0)=1
   当有很多投保人，健康人占3/4，病人占1/4,初始状态为a₁(0)=3/4，a₂(0)=1/4,计算后会发现n→∞，a₁(n)，a₂(n)的趋向和表1、2相同

马氏链的重要性质：n→∞时，状态概率a₁(n),a(n)趋向于稳定值，该值与初始状态无关。

情况2

把人的死亡作为第三种状态，X_n=3表示：今年健康、明年可能因突发疾病或偶然事故而死亡，今年患病，明年更可能转为死亡，而一旦死亡当然就不能在转为健康或者疾病。
仍然用a_i(n)表示状态概率，i=1,2,3，用p_ij表示状态转移概率，i，j=1,2,3
注意：p₃₁=p₃₂=0，p₃₃=1,因为前一年死亡，后一年必定死亡。
第n+1年的状态概率可类似于（1）式用
若投保人一开始是健康状态
不论初始状态如何，最终都转化到了状态3，这表示代表了另一种主要的马氏链类型。

马氏链的基本概念

马氏链及其基本方程

马氏链的方程：
$a_i(n+1)={\sum }_{j=1}^k{a}_j(n)p_{ji}，i=1,2,...,k(3)$
$并且a_i(n)和p_{ij}应满足$
引入转态概率向量（行向量）和转移概率矩阵（简称转移矩阵）
a ( n ) = ( a 1 ( n ) , a 2 ( n ) , . . . , a k ( n ) ) , P = { p i j } k × k ( 7 ) a(n)=(a_1(n),a_2(n),...,a_k(n)),P=\{p_{ij}\}_{k×k}\qquad(7) a(n)=(a1​(n),a2​(n),...,ak​(n)),P={pij​}k×k​(7)
则基本方程(3)可以表为
(5)式表明转移矩阵P是非负矩阵，(6)式表示P的行和为1，称为随机矩阵。

对于例题的两种情况，可以得到转移矩阵为：
$$P=\left[\begin{array}{cc}0.8& 0.2\\ 0.7& 0.3\end{array}\right]$$
$$P=\left[\begin{array}{ccc}0.8& 0.18& 0.02\\ 0.65& 0.25& 0.1\\ 0& 0& 1\end{array}\right]$$

对于马氏链模型的最基本问题是构造状态X_n及写出转移矩阵P，一旦有了P，那么给定初始状态概率a(0)就可以用(9)或(8)式计算任意时段n的概率a(n)。
这里的转移概率p_ij与时段n无关， 这种马氏链称为时齐的

正则链

特点：从任意状态出发，经过有限次转移都能达到另外的任意状态，有如下定义。

定理1：若马氏链的转移矩阵为P，则它是正则链的充要条件是：存在正整数N，使P^N>0（指P^N的每一个元素大于零）

上面举例的第一种情况显然满足定理1，即它是正则链。我们已经看到，任意初始状态a(0)出发，n→∞时状态概率a(n)趋于与a(0)无关的稳定值。事实上有如下定理。

定理2：正则链存在唯一的极限状态概率w=(w₁,w₂,…,w_k),使得当n→∞时状态概率a(n)→w，w与初始状态概率a(0)无关，w又称稳态概率，满足
$$wp=w(10)$$
$$\sum _{i=1}^k{w}_i=1(11)$$

从(9)或(10)得到
${\lim }_{n\to +\infty }{P}^n$存在,记作$P^{\infty }$，并且$P^{\infty }$的每一行都是稳态概率w，如果记 P ∞ = { p i j ( ∞ ) } P^∞=\{p_{ij}^{(∞)}\} P∞={pij(∞)​},那么有$p_{ii}^{(\infty )}=w_i$。
从状态i出发经n次转移，第一次到达状态j的概率称为i到j的首达概率，记作$f_{ij}(n)$,于是
$${\mu }_{ij}=\sum _{n=1}^{\infty }n{f}_{ij}(n)(12)$$
(12)式表示：由状态i第一次到达状态j的平均转移次数，特别地，μ_ii是状态i首次返回的平均转移次数，μ_ii与稳态概率w有密切关系，即

定理3：对于正则链有：μ_ii=1/w_i (13)

吸收链

上面的第二个例子，状态3转移概率p₃₃=1，于是系统一旦进入转态3就不会再离开它，可以把它看做“吸收”其他状态，并且从状态1或2出发，可以经有限次转移到达状态3，有如下定义。
$其中k-r阶子方阵Q的特征值\lambda 满足|\lambda |<1,这要求子阵R_{(k-r)\times r}中必含有非零元素，以满足从任一非吸收状态出发经有限次转移可达到某种吸收状态的条件。这样Q就不是随机矩阵，它至少存在一个小于1的行和，且如下定理成立。$

定理4：$对于吸收链P的标准形式(14),I-Q可逆，M=(I-Q{)}^{-1}={\sum }_{s=0}^{\infty }{Q}^s(15)$
$记元素全为1的列向量为e=(1,1,...,1{)}^T，则y=Me(16)$
$y的第i分量是从第i个非吸收状态出发，被某个吸收状态吸收的平均转移次数。$

设状态i是非吸收状态，j是吸收状态，那么首达概率f_ij(n)实际上是i经n次转移被j吸收的概率，而
$$f_{ij}=\sum _{n=1}^{\infty }{f}_{ij}(n)(17)$$
(17)式是从非吸收状态i出发终将被j吸收的概率，记为
F = { f i j } ( k − r ) × r F=\{f_{ij}\}_{(k-r)×r} F={fij​}(k−r)×r​

定理5：设吸收链的转移矩阵P表为标准形式(14),则
$$F=MR(18)$$

12.2钢琴销售的贮存策略

问题简述

问题分析

钢琴需求量近似服从泊松分布
周末库存可能为：0、1、2、3（架）
周初库存可能为：1、2、3
每周不同需求导致周库存状态的变化
当需求超过库存→失去销售机会
遇到的问题：动态过程，每周概率不同
解决的办法：在时间充分长之后，按照稳态进行分析计算。

模型假设

1. 钢管每周需求量服从泊松分布，均值为每周1架。
2. 贮存策略是：当周末库存量为0时，订购3架，周初到货；否则不订购。
3. 以每周初的库存量作为状态变量，转态转移具有无后效性。
4. 在稳态情况下计算该贮存策略失去的销售机会的概率和每周的平均销售量。

模型建立