解决方法 主要思路 难点:不知道某一动作时许了多长时间,因此需要引入时间参数 马尔科夫假设表明,aij与时间无关,后一时刻的状态只与前一时刻的状态有关。 aij还可以定义为 这样的含义是后一时刻的状态只与前任意时刻的状态有关(多步马尔科夫链),增加了问题和模型的复杂度,这里采用第一种形式(单步马尔科夫链)。 三个问题 对于问题一的简便算法 ④