Markov chain 学习

除了reward markov chain外，所有内容都已学习完成，总结将从多个角度说明。

以下内容来来自于学习材料：我将把所有的知识点都圈起来，后续进行说明。

 

对于任意的markov链

1）  首先要以类为单位将其进行划分，划分为两大类R和T，即常返和瞬时；然后对R进行分析，如果当前的类周期为d，那么再将其划分为d个小的子类，这是每个子类的的周期均为1。

2）  然后对T和Ri（i=1,2,…d）单独进行分析。T所有的特征值必然都小于1，因此最终的P^n收敛于0。针对Ri分析时，首先计算特征值为1时对应的左特征向量，对该向量做标准化处理，即令所有分量的和为1，其即为P的稳定状态向量；然后计算它所有的特征值以及对应的右特征向量，向量组成矩阵U，然后求解该矩阵的逆矩阵（其逆矩阵的行向量为对应特征值的左特征向量，但是这是的这个左特征向量是经过了标准化的结果，V = 1）；最后P^n既可以表示为以下形式：

                                   

3）经过1和2的处理将所有的Ri和T对应Pi^n进行组合，就会得到最终的结果P^n。