【数模百科】一文讲清楚马尔可夫过程

最新推荐文章于 2024-10-29 11:20:40 发布

小树modelwiki

最新推荐文章于 2024-10-29 11:20:40 发布

阅读量1.1k

点赞数 27

文章标签：人工智能算法机器学习

本文链接：https://blog.csdn.net/weixin_62457573/article/details/135481236

版权

本文介绍了马尔可夫过程，一种基于过去状态预测未来事件的数学模型，常用于天气预报、股市分析和用户行为预测。通过状态转移矩阵，马尔可夫过程简化了复杂问题的预测，尽管它假设未来只与当前状态相关，但在许多场景下提供了有价值的预测信息。

摘要由CSDN通过智能技术生成

本文摘录自马尔可夫过程 - 数模百科如果你想了解更多有关马尔可夫预测的信息，请移步马尔可夫预测 - 数模百科

如果你是个天气预报员，每天都得猜明天会下雨还是晴天。有时候凭直觉猜，有时候看看今天的天气来猜，这样总感觉不太靠谱对吧？这时候，马尔可夫预测就像是给预报员送来的一个小助手，它可以根据过去的一些天气情况来帮助预测未来的天气。

马尔可夫预测是俄国数学家安德烈·马尔可夫发明的。他的动机很简单，他想要一个方法，能够通过分析过去发生的事件来预测将来可能发生的事件。比如说，今天下雨了，根据往常的经验，下雨的第二天往往也会下雨或者是阴天，那么马尔可夫预测就是帮你用之前的数据来算算看，明天继续下雨的可能性有多大。

它的使用场景很广泛。除了天气预报，比如你在玩一个跳格子的游戏，想知道下一步落在哪个格子的概率；或者你在研究股市，想预测明天股价是涨是跌；又或者是研究一个用户在网站上点击不同网页的习惯，想知道他下一步最可能点击哪个链接。这些情况下，只要事件之间有连续性，就可以尝试用马尔可夫预测来分析。

简单来说，马尔可夫预测就是一个很实用的预测工具，它通过“看历史”来“猜未来”，帮助我们在不确定的世界里，找到一些规律和可能性。虽然它不是万能的，但在很多情况下，它的确能给我们提供一些有用的信息。

基本要素

从模型的定义和性质来看，具有马尔可夫性质、并以随机过程为基础模型的随机过程/随机模型被统称为马尔可夫模型。

随机过程

白话文

我们知道，生活中很多事情都不是一成不变的，比如天气、股票价格，或者公交车的到来时间。这些事情有一个共同点，那就是它们都是随着时间不断变化的，而且这种变化很难精确预测，因为它们受到很多不确定因素的影响。为了更好地理解和预测这些变化，科学家们就发明了随机过程模型。

随机过程模型，简单来说，就是一套数学工具。它帮助我们描述和分析这些随时间变化的事物，特别是那些变化带有随机性的。这个模型的核心思想就是：虽然未来的具体情况我们无法准确知道，但我们可以估算出它可能发生的规律和概率。

发明随机过程模型的动机是什么呢？主要有几点：

预测未来：我们想知道将来可能会发生什么，比如气象预报想预测明天的天气，金融分析师想知道未来股价的走势。
做决策：在不确定性很高的情况下，比如医生在治疗疾病时，需要根据病情的可能变化来选择最佳的治疗方案。
理解现象：通过随机过程模型，我们可以更好地理解某些现象的内在机制，比如生物学家研究细胞如何随机分裂。
优化系统：工程师可能会用随机过程模型来设计更加高效稳定的通信系统，或者交通网络。

随机过程模型适用的场景非常多，其中包括：

气象学：预测天气变化；
金融：分析股票、期货等金融产品的价格波动；
物理学：研究粒子运动的随机性；
生物学：观察细胞生长或病毒传播的过程；
工程学：比如信号处理、可靠性工程等方面；
社会科学：研究人类行为的模式，如交通流、人口迁移等。

总之，随机过程模型就像是我们用来解读和预测这个充满不确定性世界的一副眼镜，让我们尽管不能百分百准确预测未来，但至少能够有理有据地做出合理的猜测和决策。

定义与详解

随机过程是描述随机现象随着时间演化的数学模型。它可以理解为一种数学工具，用来描述随机变量或随机事件随时间变化的规律。一般来说，把一组随机变量定义为随机过程。在研究随机过程时人们透过表面的偶然性描述出必然的内在规律并以概率的形式来描述这些规律，从偶然中悟出必然正是这一学科的魅力所在。

在随机过程中，时间是一个基本的因素，它可以是离散的（如时刻1、时刻2、时刻3...）或连续的（如实数轴上的时间）。随机过程可以根据其状态的取值类型分为离散随机过程和连续随机过程。

离散随机过程是在离散时间点上定义的随机变量的集合，它的状态可以是不同的离散值，例如掷骰子的结果为1、2、3、4、5、6之一。
连续随机过程是在连续时间上定义的随机变量的集合，它的状态可以是连续的，例如温度随时间的变化或股票价格的变化。

随机过程的演化可以通过概率论中的概率分布来描述，这些概率分布可以是离散的（如概率质量函数）或连续的（如概率密度函数）。通过对随机过程的概率分布进行建模和分析，我们可以推断和预测随机过程在未来时间的行为。

马尔可夫性质

白话文

马尔可夫性质，可以用一句简单的话来形容：「过河的石头踩一踩，踏过的就不再回头看。」简而言之，就是说，在某个过程中，接下来会发生什么，只和现在的情况有关，和你之前怎么走到这一步完全没关系。

我们可以想象一下电视剧里的情节，今天的剧情只取决于昨天发生的大事件，而不会去考虑很久以前的小插曲。这就是马尔可夫性质的核心思想：未来不由过去，只由现在。

再打个比方，就像我们每天的心情，可能只受到今天发生事情的影响，而和昨天的心情无关。今天开心了，不管昨天是不是郁闷，明天都可能继续保持愉快；今天不顺利，也不会去管昨天是不是特别顺心，明天一样可能是个新的开始。

这个性质在数学上可以帮我们简化很多复杂的问题，因为我们不必去追溯整个历史，只要知道当前的状态，就能有方法去预测下一步会发生什么。就像下棋，每次只需考虑下一步怎么走，而不用从头回忆整局棋的每一步。

总的来说，马尔可夫性质就是一种“活在当下”的哲学，把握现在，预测未来，不再纠结过去。这种性质在数学模型里面，让我们能够更聪明、更有效率地预测那些看似随机却又藏着规律的现象。

定义与详解

当一个随机过程满足马尔可夫性时，意味着在给定当前状态的情况下，过去的状态信息对未来状态的预测没有影响。这是因为当前状态已经包含了过去状态的所有信息，即给定当前状态，过去状态的信息是冗余的。

具体来说，假设我们有一个离散时间的随机过程，其中包含一系列的状态，记为 $X_1, X_2, X_3, ...$ ，每个状态在每个时刻都具有一个概率分布。马尔可夫性的假设意味着在任意时刻 n+1 的状态 $X_{n+1}$ 只与当前状态 $X_n$ 有关，而与过去状态 $X_{n-1}, X_{n-2}, ...$ 无关。在数学上可表示为

$P(X_{n+1)}|X_n,X_{n-1},...,X_1) = P(X_{n+1}|X_n).$

这样的假设使得我们可以使用状态转移矩阵来描述马尔可夫过程。状态转移矩阵是一个方阵，其元素 $a_{ij}$ 表示在状态 $X_i$ 时转移到状态 $X_j$ 的概率。根据马尔可夫性的假设，每个状态的转移概率只取决于当前状态，与时间的推移无关。

由于状态转移矩阵中的概率是固定不变的，可以在已知当前状态的情况下，通过不断迭代状态转移矩阵，预测未来状态的概率分布。这样就使得马尔可夫过程模型能够对未来状态进行有效的建模和预测。

需要注意的是，马尔可夫过程的假设并不意味着状态之间的转移是完全随机无规律的，转移概率是可以根据实际情况进行建模和估计的。

马尔可夫过程

白话文

这是世界上最繁荣的城市之一，在车水马龙的市中心，有一座高耸入云的玻璃写字楼，那是我工作的地方。我的上司，李华，是这座大楼里一家知名企业的行政总裁。他，像一本难以翻阅的厚重书籍，每一天的心情都是不同的篇章。而我，作为他的秘书，肩负着一个特别的使命——每天为他策划一场午餐的盛宴。

为李华准备午餐可是我工作中最重要的任务，如果问他想吃什么，他只会不耐烦地说声“随便”，但如果点的午餐不合他的胃口，他可能就会情绪不稳定，从而对我们这些下属地工作要求更严格。为了让自己地日子好过一些，我开始察言观色。我发现，有时，他会因为一个成功的合同而喜形于色，一份清爽的沙拉会让他倍感舒爽；有时，他会因为紧张的会议而眉头紧锁，一份热量满满的汉堡可以为他补充能量；再有时，他会因为项目的压力而忧心忡忡，这时，一份温暖的中餐或许能给他带来一丝慰藉。

这不是简单的任务，而是一门需要深刻洞察力和细腻观察力的艺术。每当夜幕降临，我都会回顾当天的事件，尝试在李华的心情和他的饮食习惯之间，找到那些隐晦而又确凿的联系。

日复一日，我的记录日渐丰富，我好像逐渐找到了不同心情的他对于饮食的偏好。而我现在要做的，就是摸清他的心情规律。李华每天的工作大概从下午开始，所以前一天的心情直接影响了他第二天的状态。于是我又学会了预测，学会了在他的眉宇间读懂下一顿午餐的暗示。

我所运用的，正是马尔可夫过程的智慧：每一天的状态，仅与昨日的心情有关，而与更遥远的过去无缘。我不断调整我的预测模型，让自己的判断越来越精准。这样，无论李华的心情如何变化，我总能在午餐时刻，为他带来一份惊喜，一份安慰，一份力量。

最终，我不仅赢得了李华的信任和赞许，也让自己在这座城市的森林中，找到了一片属于自己的小确幸。

定义与详解

马尔可夫过程是一种特殊的随机过程，得名于俄国数学家安德烈·马尔可夫。这种过程的核心特征是"无记忆性"，即系统的下一个状态只与当前状态有关，而与之前的历史状态无关。

为了形式化地定义马尔可夫过程，我们首先设定一个由有限或可数无限多个状态构成的集合，称为状态空间，记作 $S=\{s_1, s_2,...,s_k\}$ ，其中包含了所有可能出现的状态。在离散时间的情形，假设在时间点 n （ n 是自然数集 $\mathbb{N}$ 中的任意元素），这个过程可能处于任意一个状态 $X_n$ 。

对于一个马尔可夫过程 $\{X_n, n\in \mathbb{N}\}$ ，我们关心的是从一个状态跳转到另一个状态的概率。如果对于任意的 n 和任意的状态 $s_i, s_j, s_{j_1}, ..., s_{j_n} \in S$ ，都满足以下等式：

$P(X_{n+1}=s_j \mid X_n=s_i, X_{n-1}=s_{j_1}, ..., X_1=s_{j_n}) = P(X_{n+1}=s_j \mid X_n=s_i) .$

那么，我们称这个过程是马尔可夫过程。这个性质表明，未来状态 s_j 在给定当前状态 s_i 的条件下发生的概率，与过去的状态（ $s_{j_1}, ..., s_{j_n}$ ）无关。

在马尔可夫过程中，状态转移概率通常用一个矩阵来表示，这个矩阵被称为状态转移矩阵，其元素 $p_{ij}$ 定义为：

$p_{ij} = P(X_{n+1}=s_j \mid X_n=s_i) .$

这里的 $p_{ij}$ 表示系统从状态 $s_i$ 转移到状态 $s_j$ 的概率。

当状态转移矩阵中的概率不随时间变化时，我们称这个马尔可夫过程为齐次马尔可夫链（或时间齐次马尔可夫链）。简而言之，齐次马尔可夫链的跳转概率是固定不变的。

以天气变化为例，假设一个地区只有晴天和雨天两种状态。如果明天的天气只与今天的天气有关，与前天及更早的天气无关，那么这个天气变化就可以被视为一个马尔可夫过程。假定晴天后继续晴天的概率是0.8，晴天转为雨天的概率是0.2；而雨天后继续雨天的概率是0.6，雨天转为晴天的概率是0.4，则状态转移矩阵可以表示为：

$\begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix} .$

在这个矩阵中，第一行表示晴天的转移概率，第二行表示雨天的转移概率。上述概率矩阵便刻画了一个齐次马尔可夫链的状态转移规律。

代码

import numpy as np

# 定义转移矩阵
transition_matrix = np.array([[0.8, 0.2],
                              [0.3, 0.7]])
# 定义初始状态（随机选择0或1）
state = np.random.choice([0,1])

state_history = [state]

# 模拟100个时间步的马尔可夫过程
for _ in range(100):
    # 根据当前状态和转移矩阵选择新状态
    state = np.random.choice([0,1], p = transition_matrix[state])
    state_history.append(state)

print(state_history)

这段代码使用一个二维转移矩阵定义了一个二态（状态0和状态1）的马尔可夫链。然后，它模拟了100个时间步的马尔可夫过程，并把每一步的状态存储在state_history列表中。

输出结果：

[0, 1, 1, 0, 0, 0, 0, 0, 1, 1, 1, 1, 0, 0, 0, 1, 
1, 1, 1, 1, 1, 0, 0, 0, 1, 1, 1, 1, 1, 1, 0, 0, 
0, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 
1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 
0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 1, 0, 
1, 1, 0, 0, 0, 1, 1, 1, 1, 1, 0, 1, 1, 0, 1, 1, 
1, 1, 1, 0, 1]