用马尔科夫链求首达时的一种方法--意料之外，情理之中

一. 定义

马尔科夫链：已知若干种状态，从当前状态转移到下一状态的概率，只取决于当前和上一步的状态，与其他状态无关。

首达时：从某状态i出发，首次到达状态j时经历的时间。

二. 假设条件

已知共有k个状态（0,1,...,K-1），状态转移矩阵M（k*k），求从某状态i出发，首次到达状态K的时间向量v=（v0，v1,...vk-1）。这里假设是离散时间马尔科夫链，

三. 问题求解

求解公式如下：

v=r+M'v

其中，r是大小为（k，1）的,元素除最后一位为0外全为1的矩阵（即（1,1,...,1,0）），M'是矩阵M将最后一行置0&#