随机过程 第七章 高阶概率转移

 随机过程笔记：

随机过程 第一章 随机变量与数学期望-CSDN博客

随机过程 第二章 特征函数与随机过程定义-CSDN博客

随机过程 第三章 随机过程的数字特征与特征函数-CSDN博客

随机过程 第四章 随机过程的分类-CSDN博客

随机过程 第五章 时平均、时相关函数-CSDN博客

随机过程 第六章 泊松过程、平稳时间序列、马尔科夫过程-CSDN博客

随机过程 第七章 高阶概率转移-CSDN博客

---

n 步转移概率，当n>=2时，pij(n)称为高阶转移概率

n阶概率转移矩阵 n 步转移概率矩阵 P(n) 是随机矩阵

第三问也可以写成：先求p(4)=p(2)p(2)，然后找到P35 (4) （其实是一个意思）

初始概率，绝对概率：

=5/48

（2）：求两步转移矩阵，得11/24

（3）：1/24

遍历性：

 称pj为转移概率的极限分布

当马尔科夫链极限分布存在，它的遍历性表示一个系统经过相当长时间以后达到平衡状态，此时系统各状态的概率分布不随时间而变，亦不依赖于初始状态

平稳分布：任意时刻n，链的绝对概率分布都等于初始概率分布

例：   证明遍历性并求极限概率分布

时间连续状态离散的马尔科夫过程

  

 这个是之前没提过的定理

绝对概率完全被初始概率分布和转移概率函数所确定

上面这部分跟马尔科夫链一样

, qij存在且有限,   称为马尔科夫过程的速率函数

它刻画马尔科夫过程的转移概率函数在零时刻对时间的变化率

如果qij已知（通常可以根据过程的统计性质确定), 附加上初始条件pij(0)=δij,就可以解出pij(t)

由假定1可知过程是时齐的

，

代入柯尔莫哥洛夫向前方程  后面解方程就算了..