【随机过程】时齐Markov Chain与非时齐Markov Chain

 随机过程

第四章  Markov链的统计特性


目录

前言

一、时齐Markov Chain

1.时齐Markov Chain的统计特性

2.时齐Markov Chain与平稳过程的关系

二、非时齐Markov Chain

1.非时齐Markov Chain的统计特性

时间依赖的状态转移概率

稳态行为

2.非时齐Markov Chain的案例(Pólya瓮抽样模型)

应用实例

金融应用

生物统计

三、时齐Markov Chain与非时齐Markov Chain的互相转换

参考资料


前言

在上一篇文章中介绍了Markov Chain的定义,其具有无记忆性,即过去发生的事以及未来即将发生的事是独立的,由于在学习过程中对其统计特性有疑问,本文就其展开思考与探索。


一、时齐Markov Chain

1.时齐Markov Chain的统计特性

其中,课本中介绍的平稳分布是一个时齐Markov Chain的基本特性。

2.时齐Markov Chain与平稳过程的关系

我们由上文中时齐Markov Chain的定义观测到它与平稳过程似乎有着某种相似,平稳过程通常指的是在时间上统计性质不随时间变化的随机过程。

平稳过程是一类特殊的随机过程,其统计特性不随时间变化。具体来说,一个随机过程 X_{t} 是平稳的,如果:

  1. 一阶平稳:期望值E[X_{t}]是常数,与时间无关。
  2. 二阶平稳:自协方差函数 \gamma_{X}(t,s) 只依赖于 ts 之间的时差,即

                     \gamma_{X}(t,s)=\gamma_{X}(t-s)

对于一个时齐马尔可夫链,如果存在一个分布 \pi 满足 \pi P=\pi,则 π 称为该马尔可夫链的平稳分布(stationary distribution)。此时,如果初始状态 X_{0}服从平稳分布\pi,则对于所有的tX_{t} 的分布都是\pi,使得马尔可夫链在平稳分布下成为平稳过程。

时齐马尔可夫链与平稳过程这两个概念之间的关系在某种程度上是相关的,但不完全相同。在马尔可夫链理论中,时齐马尔可夫链是一种特殊的马尔可夫链,其转移概率在时间上保持不变。而平稳过程则是更一般的概念,涵盖了在时间上统计性质保持不变的随机过程,不一定要求其具有马尔可夫性质。

然而,对于某些特定的马尔可夫链,尤其是当马尔可夫链具有平稳分布时,时齐马尔可夫链和平稳过程之间存在着密切的关系。当一个马尔可夫链达到平稳分布时,它的状态分布在时间上保持不变,这时我们可以称这个马尔可夫链是一个平稳过程。因此,对于这种情况下的马尔可夫链,时齐马尔可夫链和平稳过程是等价的概念,如以下例子:

总的来说,时齐马尔可夫链是平稳过程的一种特例,但平稳过程不一定是时齐马尔可夫链。在分析特定问题时,根据具体的上下文和假设条件,我们可以选择使用适当的术语来描述问题。

二、非时齐Markov Chain

1.非时齐Markov Chain的统计特性

半马尔可夫过程(Semi-Markov Decision Processes),也叫非时齐马尔可夫决策过程,经典的马尔可夫过程是时齐过程,所谓时齐指的是每部可选行动的执行时间是相同的,相邻状态之间转移的时间间隔是一致的。而非齐时则不同,时间间隔上不一致,还可能符合某种概率分布。半马尔可夫决策的主要意义在于它更加接近现实中人类规划并解决问题的方式,通常存在时间的延迟,具有较大尺度的时间范围。

以下是非齐次Markov链的关键统计特性:

  • 时间依赖的状态转移概率

在非齐次Markov链中,转移概率矩阵P\left ( t \right )随时间变化。具体来说,从状态i转移到状态j的概率 P_{ij}\left ( t \right ) 在不同的时间t 可以不同。

  • 稳态行为

与齐次Markov链不同,非齐次Markov链不一定具有稳态分布,因为转移概率随时间变化。然而,在某些情况下,如果转移概率矩阵在时间上满足某种渐近性质,可能会存在一个时间平均的稳态分布。在某些经济系统中,政策的变化会逐渐趋于稳定。例如,在中央银行的货币政策(如利率调整和量化宽松措施),会影响通货膨胀率和经济增长。在政策初期,政策变动可能会对通货膨胀率产生显著影响。但是随着时间推移,政策效应逐渐被市场吸收和调整,政策影响会趋于稳定,这时,经济系统的状态分布可能收敛到一个时间平均的稳态分布。

2.非时齐Markov Chain的案例(Pólya瓮抽样模型)

很有意思的是:这赋予容器一种自我强化的性质,有时表现为“富者愈富”。(自我强化性质在经济学和社会学中被称为“马太效应”(Matthew Effect),源自《圣经·马太福音》中一句话:“凡有的,还要加给他,叫他多余;没有的,连他所有的也要夺过来。” 在半马尔可夫决策过程中(SMDP),这种效应可以解释为某些状态或动作由于其初始优势,随着时间的推移越来越有利,形成自我强化的循环)。
  请注意,在某种意义上,Pólya瓮模型是不重复抽样(或无放回抽样,sampling without replacement)模型的“对立面”。在不重复抽样中,每次观察到特定值时,不可能再次观察到该值,而在Pólya瓮模型中观察到价值更有可能再次被观察到。 在这种模型中,当前测量行为都会影响未来测量的结果。另请注意,在Pólya瓮模型中,随着时间的推移,持续的测量行为对未来测量的影响越来越小(根据大数定律,随着抽取次数n的增加,瓮中红球和黄球的比例逐渐稳定。虽然每次抽取和放回会增加同颜色的球,但由于总球数越来越大,每次新增球的影响被稀释),而在不重复抽样中,情况恰恰相反:在对特定值进行一定数量的测量之后,将永远不会再看到该值。

应用实例

  • 金融应用

在金融市场中,价格变动和市场状态可能随时间变化,非齐次Markov链可以用来建模市场状态的时间依赖性变化。

  • 生物统计

在生物统计中,疾病的进展和康复可能随时间变化,不同时间点的转移概率不同,非齐次Markov链可以用来描述这种时间依赖的疾病进展过程。

三、时齐Markov Chain与非时齐Markov Chain的互相转换

时齐Markov Chain具有固定的转移概率矩阵P,且在每个时间步的转移概率都相同:

P\left ( X_{n+1}=j\mid X_{n}=i \right )=P( X_{ij})

将齐次Markov链转化为非齐次Markov链的一种方法是引入时间依赖,使转移概率矩阵随时间变化。例如:

P_{\left ( t \right )}=f\left ( t \right )P

其中 f\left ( t \right ) 是一个随时间变化的函数,可以是标量或矩阵形式,通过这种方式,转移概率矩阵变为时间的函数,形成非齐次Markov链。

时齐Markov Chain与非时齐Markov Chain可以通过引入时间依赖或扩展状态空间等方法进行相互转换,具体方法取决于实际应用的需求和转移概率矩阵的特性。


参考资料

[1]张波、张景肖、肖宇谷. 应用随机过程(第二版)[M]. 北京:清华大学出版社,2019.11:43.

[2] https://www.cnblogs.com/lixddd/p/15920495

[3]维基百科编者. 平稳过程[G/OL]. 维基百科, 2024(20240314). https://zh.wikipedia.org/w/index.php?title=%E5%B9%B3%E7%A8%B3%E8%BF%87%E7%A8%8B&oldid=81888492

[4]https://en.wikipedia.org/wiki/Pólya_urn_model

### 关于面包板电源模块 MB102 的 USB 供电规格及兼容性 #### 1. **MB102 基本功能** 面包板电源模块 MB102 是一种常见的实验工具,主要用于为基于面包板的小型电子项目提供稳定的电压输出。它通常具有两路独立的稳压输出:一路为 5V 和另一路可调电压(一般范围为 3V 至 12V)。这种设计使得它可以满足多种芯片和传感器的不同工作电压需求。 #### 2. **USB 供电方式** MB102 支持通过 USB 接口供电,输入电压通常是标准的 5V DC[^1]。由于其内部集成了 LM7805 稳压器以及可调节电位器控制的直流-直流变换电路,因此即使输入来自电脑或其他低功率 USB 设备,也能稳定地向负载供应电力。不过需要注意的是,如果项目的功耗较高,则可能超出某些 USB 端口的最大电流能力(一般是 500mA),从而引起不稳定现象或者保护机制启动断开连接的情况发生。 #### 3. **兼容性分析** 该型号广泛适用于各种微控制器单元 (MCU),特别是那些像 Wemos D1 R32 这样可以通过杜邦线轻松接入并共享相同逻辑级别的系统[^2]。另外,在提到 Arduino Uno 板也表明了良好的互操作性,因为两者均采用相似的标准接口定义与电气特性参数设置[^4]: - 对于需要 3.3V 工作环境下的组件来说,只需调整好对应跳线帽位置即可实现精准匹配; - 当涉及到更多外围扩展应用场合下,例如带有多重模拟信号采集任务的情形里,利用 MB102 提供干净无干扰的基础能源供给就显得尤为重要了[^3]。 综上所述,对于打算构建以单片机为核心的原型验证平台而言,选用具备良好声誉记录且易于获取配件支持服务链路上下游资源丰富的品牌产品——如这里讨论过的这款特定类型的配电装置不失为明智之举之一。 ```python # 示例 Python 代码展示如何检测硬件状态 import machine pin = machine.Pin(2, machine.Pin.IN) if pin.value() == 1: print("Power supply is stable.") else: print("Check your connections and power source.") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值