【随机过程】时齐Markov Chain与非时齐Markov Chain

哈哈迷哈

已于 2024-05-20 01:55:29 修改

阅读量3.2k

点赞数 27

文章标签：概率论金融笔记

于 2024-05-20 01:06:55 首次发布

本文链接：https://blog.csdn.net/qq_49657150/article/details/138162948

版权

随机过程

第四章 Markov链的统计特性

前言

一、时齐Markov Chain

1.时齐Markov Chain的统计特性

2.时齐Markov Chain与平稳过程的关系

二、非时齐Markov Chain

1.非时齐Markov Chain的统计特性

时间依赖的状态转移概率

稳态行为

2.非时齐Markov Chain的案例（Pólya瓮抽样模型）

应用实例

金融应用

生物统计

三、时齐Markov Chain与非时齐Markov Chain的互相转换

参考资料

前言

在上一篇文章中介绍了Markov Chain的定义，其具有无记忆性，即过去发生的事以及未来即将发生的事是独立的，由于在学习过程中对其统计特性有疑问，本文就其展开思考与探索。

一、时齐Markov Chain

1.时齐Markov Chain的统计特性

其中，课本中介绍的平稳分布是一个时齐Markov Chain的基本特性。

2.时齐Markov Chain与平稳过程的关系

我们由上文中时齐Markov Chain的定义观测到它与平稳过程似乎有着某种相似，平稳过程通常指的是在时间上统计性质不随时间变化的随机过程。

平稳过程是一类特殊的随机过程，其统计特性不随时间变化。具体来说，一个随机过程 $X_{t}$ 是平稳的，如果：

一阶平稳：期望值 $E[X_{t}]$ 是常数，与时间无关。
二阶平稳：自协方差函数 $\gamma_{X}(t,s)$ 只依赖于 $t$ 和 $s$ 之间的时差，即
$\gamma_{X}(t,s)=\gamma_{X}(t-s)$

对于一个时齐马尔可夫链，如果存在一个分布 $\pi$ 满足 $\pi P=\pi$ ，则 π 称为该马尔可夫链的平稳分布（stationary distribution）。此时，如果初始状态 $X_{0}$ 服从平稳分布 $\pi$ ，则对于所有的 $t$ ， $X_{t}$ 的分布都是 $\pi$ ，使得马尔可夫链在平稳分布下成为平稳过程。

时齐马尔可夫链与平稳过程这两个概念之间的关系在某种程度上是相关的，但不完全相同。在马尔可夫链理论中，时齐马尔可夫链是一种特殊的马尔可夫链，其转移概率在时间上保持不变。而平稳过程则是更一般的概念，涵盖了在时间上统计性质保持不变的随机过程，不一定要求其具有马尔可夫性质。

然而，对于某些特定的马尔可夫链，尤其是当马尔可夫链具有平稳分布时，时齐马尔可夫链和平稳过程之间存在着密切的关系。当一个马尔可夫链达到平稳分布时，它的状态分布在时间上保持不变，这时我们可以称这个马尔可夫链是一个平稳过程。因此，对于这种情况下的马尔可夫链，时齐马尔可夫链和平稳过程是等价的概念，如以下例子：

总的来说，时齐马尔可夫链是平稳过程的一种特例，但平稳过程不一定是时齐马尔可夫链。在分析特定问题时，根据具体的上下文和假设条件，我们可以选择使用适当的术语来描述问题。

二、非时齐Markov Chain

1.非时齐Markov Chain的统计特性

半马尔可夫过程（Semi-Markov Decision Processes），也叫非时齐马尔可夫决策过程，经典的马尔可夫过程是时齐过程，所谓时齐指的是每部可选行动的执行时间是相同的，相邻状态之间转移的时间间隔是一致的。而非齐时则不同，时间间隔上不一致，还可能符合某种概率分布。半马尔可夫决策的主要意义在于它更加接近现实中人类规划并解决问题的方式，通常存在时间的延迟，具有较大尺度的时间范围。

以下是非齐次Markov链的关键统计特性：

时间依赖的状态转移概率

在非齐次Markov链中，转移概率矩阵 $P\left ( t \right )$ 随时间变化。具体来说，从状态 $i$ 转移到状态 $j$ 的概率 $P_{ij}\left ( t \right )$ 在不同的时间 $t$ 可以不同。

稳态行为

与齐次Markov链不同，非齐次Markov链不一定具有稳态分布，因为转移概率随时间变化。然而，在某些情况下，如果转移概率矩阵在时间上满足某种渐近性质，可能会存在一个时间平均的稳态分布。在某些经济系统中，政策的变化会逐渐趋于稳定。例如，在中央银行的货币政策（如利率调整和量化宽松措施），会影响通货膨胀率和经济增长。在政策初期，政策变动可能会对通货膨胀率产生显著影响。但是随着时间推移，政策效应逐渐被市场吸收和调整，政策影响会趋于稳定，这时，经济系统的状态分布可能收敛到一个时间平均的稳态分布。

2.非时齐Markov Chain的案例（Pólya瓮抽样模型）

很有意思的是：这赋予容器一种自我强化的性质，有时表现为“富者愈富”。（自我强化性质在经济学和社会学中被称为“马太效应”（Matthew Effect），源自《圣经·马太福音》中一句话：“凡有的，还要加给他，叫他多余；没有的，连他所有的也要夺过来。” 在半马尔可夫决策过程中（SMDP），这种效应可以解释为某些状态或动作由于其初始优势，随着时间的推移越来越有利，形成自我强化的循环）。
　　请注意，在某种意义上，Pólya瓮模型是不重复抽样（或无放回抽样，sampling without replacement）模型的“对立面”。在不重复抽样中，每次观察到特定值时，不可能再次观察到该值，而在Pólya瓮模型中观察到价值更有可能再次被观察到。 在这种模型中，当前测量行为都会影响未来测量的结果。另请注意，在Pólya瓮模型中，随着时间的推移，持续的测量行为对未来测量的影响越来越小（根据大数定律，随着抽取次数 $n$ 的增加，瓮中红球和黄球的比例逐渐稳定。虽然每次抽取和放回会增加同颜色的球，但由于总球数越来越大，每次新增球的影响被稀释），而在不重复抽样中，情况恰恰相反：在对特定值进行一定数量的测量之后，将永远不会再看到该值。