随机过程基础：2.Markov (马尔可夫)过程（2）

nnerddboy

于 2024-07-16 00:42:21 发布

阅读量1k

点赞数 15

分类专栏：随机过程基础文章标签：随机过程马尔科夫

本文链接：https://blog.csdn.net/qq_53529450/article/details/140450707

版权

随机过程基础专栏收录该内容

7 篇文章 0 订阅

订阅专栏

纯生过程和纯灭过程
- 纯生过程：想象一下一个生物种群，比如一群兔子，在没有天敌的理想环境中，食物充足，疾病不存在。在这样的环境下，兔子的种群只会增加，不会减少。纯生过程模型就是用来描述这种情况的，其中新生个体的出现率与当前种群的大小直接相关。种群越大，出生的兔子越多，种群增长得更快。比如18世纪澳大利亚的野兔几乎按斐波那契数列泛滥。在纯生过程中，假设当前系统处于状态 n（表示系统中有 n 个个体），那么在下一个时间步长（ t 到 t+Δt）系统只能转移到状态n+1。设 λn 表示从状态 n 到 n+1 的转换率（也就是生长率），则转移概率为：
  $P(n, n+1, t) = \lambda_n \Delta t + o(\Delta t)$
  
  这里， P(i, j, t) 表示时间 t 从状态 i 转移到状态 j 的概率。因为这是一个纯生过程，所以 n 只增不减，并且转移到其他状态（除 n+1）的概率为 0。
- 纯灭过程：相对的，如果我们考虑的是一种设备的故障率，设备随着使用时间的增加而逐渐老化和损坏，没有新设备的加入，那么这就是一个纯灭过程。这个过程关注的是系统中元素的消亡，比如老化设备最终的坏掉，且这种损坏的可能性可能与设备的当前状态有关。
  在纯灭过程中，若系统开始时有n 个个体，那么在下一个时间步长中，系统只能转移到状态 n-1 。设μn 为从状态 n 到n−1 的转换率（灭亡率），则转移概率为：
  
  $P(n, n-1, t) = \mu_n \Delta t + o(\Delta t)$
  
  在这个过程中，由于没有新的个体加入，状态只能减少，不会增加。
生灭过程
生灭过程可以看作是纯生和纯灭过程的结合体，真实世界中的大多数系统都会体现出生灭特性。例如，一种动物种群不仅会因为出生而增加，也会因为死亡、捕食等因素而减少。生灭过程通过两个方面的参数——生率和灭亡率——来描述这种现象，从而提供一个全面的系统动态模型。
在马尔科夫链的框架下，我们可以使用状态转换率来描述这种动态。下面我们看看如何用数学公式表述生灭过程的马尔科夫链表示。

定义：

假设系统在某一时刻处于状态 n，系统可以转移到状态 n+1（生）或状态 n−1（灭），同时也可以留在状态 n。设 λn 和 μn 分别是从状态 n 到 n+1 和从状态 n 到 n−1 的转换率，我们可以写出以下转移概率：

$P(n, n+1, t) = \lambda_n \Delta t + o(\Delta t)$

$P(n, n-1, t) = \mu_n \Delta t + o(\Delta t)$

此外，系统在时间 Δt 内保持在状态 n 的概率为：

$P(n, n, t) = 1 - (\lambda_n + \mu_ n) \Delta t + o(\Delta t)$

这里 o(Δt) 是表示随着 Δt 趋近于零，这部分的增长率快于 Δt 的任何线性函数。

转移方程：

对于生灭过程，我们可以使用差分方程来描述状态 n 在时间 t 的概率 $p_n(t)$ ，即处于状态 n 的概率如何随时间变化：

$\frac{d}{dt} p_n(t) = \lambda_{n-1} p_{n-1}(t) + \mu_{n+1} p_{n+1}(t) - (\lambda_n + \mu_n) p_n(t)$

这个方程说明状态 n 在时间 t 的变化率由三部分组成： (1)从状态 n−1 到状态 n 的流入（乘以转换率λn−1 ）,即得到这种转换对状态 n 概率增加的速率。 (2)从状态 n+1 到状态 n 的流入（乘以转换率μn+1）,即得到这种转换对状态 n 概率增加的速率。 (3)从状态 n 到其他状态的流出（乘以 λn+μn）。λn 表示从 n 增加到 n+1 的转换率，而 μn 表示从 n 减少到 n−1 的转换率。两者之和乘以当前状态概率 $p_n(t)$ 给出了状态 n 减少的总速率。
Kolmogorov 向后向前微分方程
Kolmogorov 向后向前微分方程是数学上用来描述和解析生灭过程中状态转换的概率如何随时间变化的工具。向后微分方程关注的是过去对当前的影响，即从现在向过去看，而向前微分方程则是从现在向未来看。这些方程帮助我们预测和模拟在给定初始条件下，系统状态随时间的演变方式。之前在生灭过程中分析的方程即为向前微分方程（Kolmogorov Forward or Fokker-Planck 方程），这个方程描述了给定当前状态和时间，系统将转移到某个新状态的概率如何随时间变化。这是由当前状态向未来状态演变的过程，因此称之为“向前”。 $\frac{d}{dt} p_n(t) = \lambda_{n-1} p_{n-1}(t) + \mu_{n+1} p_{n+1}(t) - (\lambda_n + \mu_n) p_n(t)$
而向后微分方程（Kolmogorov Backward 方程）则描述了给定未来的状态和时间，系统是从哪个旧的状态转移过来的概率如何随时间变化。这是由未来状态向当前状态回溯的过程，因此称之为“向后”。这种方程常用于回溯系统历史的行为。

在生灭过程中，Kolmogorov 向后微分方程以以下形式给出：

$\frac{d}{dt} p_{ij}(t) = \sum_k [ \lambda_{k-1} p_{ik-1}(t) + \mu_{k+1} p_{ik+1}(t) - (\lambda_k + \mu_k) p_{ik}(t) ]$

这里， $p_{ij}(t)$ 表示在时间 t 时，系统从状态 i 转移到状态 j 的概率。
连续时间 Markov 链
在连续时间 Markov 链中，与其离散时间对应的主要区别在于，状态转换可以在任何时刻发生，不再限制在固定的时间步长内。这使得模型更加真实和灵活，能够更准确地模拟如股票市场价格变动、某种化学物质的浓度变化等自然和人工过程的连续变化。连续时间 Markov 链通常使用微分方程来描述状态转换的概率。这些微分方程可以用来计算状态概率随时间的变化，从而预测系统未来的行为。上述Kolmogorov 向前和向后微分方程是描述这种过程的常用工具。

nnerddboy

关注

15
点赞
踩
21

收藏

觉得还不错? 一键收藏
0
评论
随机过程基础：2.Markov (马尔可夫)过程（2）

本文介绍了连续时间 Markov 链及其在描述生灭过程中的应用。生灭过程由纯生过程、纯灭过程以及它们的结合形式——生灭过程构成。纯生过程模拟如理想环境下兔子种群只增不减的情形，而纯灭过程关注如设备老化损坏的单向消亡现象。生灭过程结合了生与灭的特性，更全面地描述真实世界动态，如动物种群的增减。这些过程可以通过Kolmogorov向前和向后微分方程数学化表达，其中向前方程用于预测未来状态，向后方程则回溯过去影响。连续时间Markov链通过微分方程描述状态转换概率的连续变化，提升了在模拟自然与人工过程中的真实性。
复制链接

扫一扫