往期知识回顾: 马尔可夫过程Ⅰ:马尔可夫链、齐次马尔可夫链、CK方程 马尔可夫过程Ⅱ:马尔可夫链中的状态,常返、非常返 1.问题描述 注解: 关心给定初始状态与一步转移概率,求极限步数下的状态为j的概率。为求得n步后处于各状态的概率,只需要用初始概率的矢量与n步转移矩阵相乘即可,所以问题转化为求n步转移矩阵,的极限。 2.Pn的极限性态: