齐次Markov链稳态分布的求解

最新推荐文章于 2024-09-03 18:55:49 发布

带着地球去浪一浪

最新推荐文章于 2024-09-03 18:55:49 发布

阅读量6k

点赞数 12

分类专栏：概率论与随机过程文章标签：算法 matlab

本文链接：https://blog.csdn.net/weixin_42428226/article/details/117713725

版权

Markov链稳态分布迭代法矩阵求逆特征值分解

关键词由CSDN通过智能技术生成

概率论与随机过程专栏收录该内容

11 篇文章

订阅专栏

稳态分布

系统的稳态分布是指系统经过一步状态转移后，系统中各个状态的概率分布保持不变，即

$\bf{\pi}\bf{P}=\bf{\pi}$

其中， $\bf{\pi} = [\pi_1, \cdots, \pi_{n}]$ 表示系统 $n$ 个状态的概率分布， $\bf{P}$ 为齐次Markov链的一步状态转移矩阵。

显然，当系统处于稳态时，系统虽然在运动，但从各自状态的分布上来看，是稳定的，不发生变化的。

迭代法求解

根据稳态的特性可知，系统在任意状态出发，经过充分多次的迭代，终将会到达稳态。

以某位男士戒烟过程为例，假设每天的吸烟情况服从齐次Markov链，即前一天是否吸烟与当天是否吸烟可由一步状态转移矩阵 $\bf{P}$ 描述。令状态1为当天吸烟，状态2为当天不吸烟，则一步状态转移矩阵为

$\bf{P} = \left[\begin{array}{cc} 0.8 & 0.2\\ 0.4 & 0.6 \end{array} \right ]$

考虑该男士初始状态是吸烟的，即初始分布为 $\pi(0)= [1,0]$ 。那么迭代的结果如图

由图可见，该男士大概率是无法戒烟，但可能会少吸些。如果他戒烟的决心大些，一步状态转移矩阵为

$\bf{P} = \left[\begin{array}{cc} 0.5 & 0.5\\ 0.2 & 0.8 \end{array} \right ]$

则迭代的结果如图

明显此条件下的不吸烟概率会大得多。

相应的迭代代码

P = [0.5, 0.5;0.2,0.8];
days = 30;
pi = zeros(days,2);
pi(1,:) = [1,0];
for k = 2:days 
    pi(k,:) = pi(k-1,:) * P;
end
figure, plot(1:days, pi(:,1), 'r', 1:days, pi(:,2), 'b')
xlabel('天');
ylabel('概率');

特征向量法求解

根据稳态分布的特点

$\bf{\pi}\bf{P}=\bf{\pi}$

两边转置得

$\bf{P}^T\bf{\pi}^T=\bf{\pi}^T$

显然，向量 $\bf{\pi}^T$ 是矩阵 $\bf{P}^T$ 的特征值1所对应的特征向量。因此，可以考虑对矩阵 $\bf{P}^T$ 进行特征值分解，将特征值1对应的特征向量转置即可获得稳态分布。

假设齐次Markov链的一步状态转移矩阵为

$\bf{P} = \left[\begin{array}{ccc} 1/2 & 1/3 & 1/6\\ 1/3 & 1/3 & 1/3\\ 1/3 & 1/2 & 1/6 \end{array}\right]$

对矩阵 $\bf{P}^T$ 进行特征值分解得

V =

   -0.6759   -0.8165   -0.0000
   -0.6276    0.4082   -0.7071
   -0.3862    0.4082    0.7071


D =

    1.0000         0         0
         0    0.1667         0
         0         0   -0.1667

特征值1对应的特征向量的转置为 $[-0.6759, -0.6276, -0.3862]$ ，显然不是概率分布。