[学习笔记]马氏链模型

引例：
（带有反射壁的随机徘徊）如果在原点右边距离原点一个单位及距原点 s(s > 1)个单位处各立一个弹性壁。一个质点在数轴右半部从距原点两个单位处开始随机徘徊。每次分别以概率 p(0 < p < 1) 和 q(q = 1− p) 向右和向左移动一个单位；若在+1 处，则以概率 p 反射到 2，以概率q 停在原处；在 s 处，则以概率 q 反射到 s −1，以概率 p 停在原处。
由该例子可以看出，我们所做的，是根据质点的移动方向和方向对应的概率，对质点的运动方向进行预测。在这背景下，球移动的方向与概率只与当前的点有关，与它历史运动轨迹无关。
因此，这种现象可以用一句话来概括：某一系统在已知现在情况的条件下，系统未来时刻的情况只与现在有关，而与过去的历史无直接关系。描述这类随机现象的数学模型称为马氏模型。

概念以及定理：
时齐性：它的含义是：系统由状态i 到状态j 的转移概率只依赖于时间间隔的长短，与起始的时刻无关。在此马氏链假定都是时齐的，因此省略“时齐”二字。

n可以理解成起点的位置n=1，2… m表示从n开始的时间间隔，i与j分别表示n点的状态与n+m点的状态。由式子可以看出，概率与n无关，只与起点状态，终点状态，以及两点之间的距离有关。
转移概率矩阵： m 步转移概率 p (m) ij 为元素的矩阵 为马尔可夫链的m 步转移矩阵。当m = 1时，记 P(1) = P 称为马尔可夫链的一步转移矩阵，或简称转移矩阵。（下面是一个转移矩阵）

并且由上面的图可以看出一些性质：
(1)上次购买的A对应下次购买的A、B、C的概率，每一个都在范文[0,1]，而且总和是1.
(2)当步数为0时，若前后状态相同，概率为1。状态不同概率为0。
吸收链：如果马氏链至少含有一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，那么这个马氏链被称为吸收链。

如图，当状态到4的时候就会停留到4，状态4也就被称为吸收状态。

实例说明：
当实际问题可以用马尔可夫链来描述时，首先要确定它的状态空间及参数集合，然后确定它的一步转移概率。关于这一概率的确定，可以由问题的内在规律得到，也可以由过去经验给出，还可以根据观测数据来估计。

1.(利用统计手段获得转移概率)某计算机机房的一台计算机经常出故障，研究者每隔 15 分钟观察一次计算机的运行状态，收集了 24 小时的数据（共作 97 次观察）。用 1 表示正常状态，用 0 表示不正常状态，所得的数据序列如下：
1110010011111110011110111111001111111110001101101
111011011010111101110111101111110011011111100111
我们将其看作时齐马氏链，分别找出fij（表示状态i到状态j的次数）
求得 96 次状态转移的情况是：0 → 0，8 次； 0 →1，18 次；1→ 0 ，18 次； 1→1，52 次。
可以看出由0开始，到0、1的频率为4/13、9/13。从1开始到0、1的频率为9/35、26/35.用频率表示概率，从而获得概率。

2.（利用马尔可夫链进行预测）若顾客的购买是无记忆的，即已知现在顾客购买情况，未来顾客的购买情况不受过去购买历史的影响，而只与现在购买情况有关。现在市场上供应 A、B、C 三个不同厂家生产的 50 克袋状味精，用“ξ n = 1”、“ξ n = 2 ”、“ξ n = 3”分别表示“顾客第n 次购买 A、B、C 厂的味精”。显然，{ ,n = 1,2,L} ξ n 是一个马氏链。若已知第一次顾客购买三个厂味精的概率依次为 0.2，0.4，0.4。又知道一般顾客购买的倾向由表 2给出。求顾客第四次购买各家味精的概率。

构建初始状态：P(1)=[0.2 0.4 0.4 ]
构建转移矩阵：
P=[ 0.8 0.1 0.1
0.5 0.1 0.4
0.5 0.3 0.2]
根据定理：

则顾客第四次购买各家味精的概率为:P(4)=P(1)P^3=[0.7004 0.136 0.1636]

3.根据例 2中给出的一般顾客购买三种味精倾向的转移矩阵，预测经过长期的多次购买之后，顾客的购买倾向如何？
由题意可得，我们需要对Pn（n->+∞）求极限。（定义与定理略，上程序）

format rat 
p=[0.8 0.1 0.1;0.5 0.1 0.4;0.5 0.3 0.2]; 
a=[p'-eye(3);ones(1,3)]; 
b=[zeros(3,1);1]; 
p_limit=a\b 

求得p1=5/7，p2=11/84,p3=13/84.
这说明，无论第一次顾客购买的情况如何，经过长期多次购买以后，三个味精场的市场占有率趋于平衡。

4.（吸收链类型）智力竞赛问题 甲、乙两队进行智力竞赛。竞赛规则规定：竞赛开始时甲、乙两队各记 2 分，在抢答问题时，如果甲队赢得 1 分，那么甲队的总分将增加 1分，同时乙队总分将减少 1 分。当甲（或乙）队总分达到 4 分时，竞赛结束，甲（或乙）获胜。根据队员的智力水平，知道甲队赢得 1 分的概率为 p ，失去 1 分的概率为1− p ，求：（i）甲队获胜的概率是多少？（ii）竞赛从开始到结束，分数转移的平均次数是多少？（iii）甲队获得 1、2、3 分的平均次数是多少？
由于推导过程较为复杂，先将代码展出。

syms p q 
r=[q,0;0,0;0,p]; 
s=[0,p,0;q,0,p;0,q,0]; 
f=(eye(3)-s)^(-1);f=simplify(f)
n=f*ones(3,1);n=simplify(n)
b=f*r;b=simplify(b)

在实践过程中由于simple函数已经被替代，因此使用了simplify函数进行符号计算的化简。




本文是初学者笔记，意在整理章节内容