ML15_马尔可夫蒙特卡罗MCMC算法

江畔柳前堤

已于 2024-09-03 21:12:15 修改

阅读量760

点赞数 8

分类专栏：机器学习&深度学习文章标签：机器学习人工智能 pytorch YOLO 计算机视觉算法

于 2024-07-25 20:49:55 首次发布

本文链接：https://blog.csdn.net/qq_51605551/article/details/140699062

版权

机器学习&深度学习专栏收录该内容

21 篇文章 6 订阅

订阅专栏

1.1 贝叶斯方法

后验概率，先验概率，似然函数。

后验分布指的是参数的概率分布。

1.2 蒙特卡罗

蒙特卡罗算法是一种基于随机抽样的数值计算方法，在许多领域都有广泛的应用，包括物理模拟、金融分析、计算机图形学和机器学习等。这类算法利用概率统计理论来估计问题的解。下面我将详细介绍蒙特卡罗算法的基本原理、分类以及一些应用示例。

基本原理

蒙特卡罗方法的核心思想是通过随机抽样来逼近某个未知量。通常，我们可以通过以下步骤来设计一个蒙特卡罗算法：

定义目标：确定需要解决的问题或估计的量。
构造模型：构建一个概率模型，使得目标量可以通过该模型的概率分布来估计。
生成样本：从模型中随机抽取大量样本。
计算结果：根据样本计算出目标量的近似值。
评估精度：根据样本数量和统计理论评估结果的可靠性。

应用示例

1. 计算圆周率 π

问题描述：使用蒙特卡罗方法估计圆周率 π 的值。
构造模型：假设有一个边长为 2 的正方形，其内切圆的半径为 1。在正方形中随机投放点，落在圆内的点与总点数的比例应该接近于 π/4。
实现步骤：
- 随机生成大量的 (x, y) 点，其中 x 和 y 的取值范围都在 [-1, 1] 之间。
- 判断每个点是否在单位圆内（即 𝑥2+𝑦2<1x2+y2<1）。
- 计算落在圆内的点的比例，并乘以 4 得到 π 的估计值。

2. 股票价格模拟

问题描述：预测股票价格的变化。
构造模型：使用几何布朗运动模型，其中股价变化遵循对数正态分布。
实现步骤：
- 根据历史数据估计股价的平均收益率和波动率。
- 使用随机数生成器产生随机路径。
- 对每条路径进行积分，得到未来的股价预测。

总结

蒙特卡罗方法的关键在于能够合理地建立概率模型并有效地生成随机样本。随着计算机技术的发展，特别是高性能计算和并行处理技术的进步，蒙特卡罗方法的应用范围正在不断扩大。

1.3 马尔可夫链

马尔科夫链能够达到一个稳定状态（也称作平衡状态或稳态）是因为它满足一定的数学条件。让我们逐步探讨一下为什么马尔科夫链会收敛到一个稳定状态。

马尔科夫链的基本概念

马尔科夫链是一种随机过程，其中未来的状态只依赖于当前的状态，而与过去的状态无关。这种性质称为“马尔科夫性”。

收敛到稳定状态的条件

为了确保一个马尔科夫链能够收敛到一个稳定的分布，我们需要考虑以下几个条件：

不可约性（Irreducibility）：马尔科夫链是不可约的，意味着从任何状态出发，都存在一条路径可以到达其他任何状态。简单来说，就是不存在孤立的状态集。
周期性：一个状态的周期是指回到该状态的最小时间间隔。如果对于所有状态而言，周期都是1，则称马尔科夫链是非周期性的。非周期性保证了马尔科夫链不会陷入周期性的循环中，从而避免了某些状态永远不会被访问的情况。
正则性（Regular）：对于所有状态对 (i, j)，存在一个正整数 n，使得从状态 i 到状态 j 的转移概率大于零。这意味着从任意状态出发都可以在有限步内到达其他任何状态。
遍历性（Ergodicity）：如果一个马尔科夫链同时满足不可约性和非周期性，则它是遍历的。遍历性保证了无论初始状态如何，经过足够多的迭代之后，马尔科夫链都会收敛到一个唯一的稳定分布。

稳定状态的定义

稳定状态是指马尔科夫链在一个长期运行之后，状态的概率分布不再改变的状态。如果一个状态的概率分布为 π，并且满足以下条件：

𝜋𝑃=𝜋

其中 𝑃是转移概率矩阵，那么 π 就是稳定分布。

收敛性定理

根据遍历性定理，如果一个马尔科夫链是不可约的和非周期性的，则存在唯一的稳定分布 π，且对于任何初始分布，随着迭代次数的增加，状态的概率分布会逐渐逼近这个稳定分布。

换句话说，随着迭代次数的增加，马尔科夫链的状态分布将逐渐接近这个唯一确定的稳定分布。这个稳定分布代表了马尔科夫链在长时间运行后各个状态的相对频率。

举例说明

假设我们有一个只有两个状态的马尔科夫链，状态分别是 𝐴 和 𝐵，并且转移概率矩阵 𝑃 如下：

其中 𝑝 是从状态 𝐴 转移到状态 𝐴的概率，𝑞 是从状态 𝐵 转移到状态 𝐵 的概率。

如果 𝑃 满足不可约性和非周期性的条件（即 𝑝,𝑞≠0,1），那么存在一个稳定的概率分布 𝜋=[𝜋𝐴,𝜋𝐵]满足 𝜋𝑃=𝜋。

我们可以通过求解线性方程组来找到这个稳定分布：

解这个方程组就可以得到 𝜋𝐴和 𝜋𝐵 的值，这将是马尔科夫链的稳定状态。

总结

简而言之，马尔科夫链能够收敛到一个稳定状态是因为它满足一定的数学条件，特别是不可约性和非周期性。这些条件保证了无论初始状态如何，随着迭代次数的增加，状态分布将趋于一个不变的稳定分布。

当经过足够长的时间后，马尔可夫链的概率分布会趋于一个稳定的状态。

马尔可夫矩阵又叫概率转移矩阵。

1.4 MCMC算法

马尔科夫链蒙特卡罗方法（Markov Chain Monte Carlo, MCMC）是一种广泛使用的统计学方法，主要用于从复杂的概率分布中进行采样。MCMC方法特别适用于高维空间中的采样任务，这些任务通常很难直接解决。以下是MCMC算法的基本原理、应用以及一个简单的示例。

MCMC算法原理

MCMC算法的核心思想是构造一个马尔科夫链，该链的稳定分布（也称为平衡分布或极限分布）就是我们要采样的目标概率分布。通过迭代生成这个马尔科夫链的样本，我们可以近似地从目标分布中进行采样。MCMC算法的关键步骤如下：

初始化：选择一个初始状态 𝑥0。
迭代采样：
- 从当前状态 𝑥𝑡 出发，根据某个提议分布 𝑞(⋅∣𝑥𝑡)生成一个新的候选状态 𝑥∗。
- 计算接受概率 𝐴(𝑥𝑡,𝑥∗)，通常是根据目标分布 𝑝(𝑥) 和提议分布 𝑞(⋅∣𝑥𝑡) 来确定的。
- 以概率 𝐴(𝑥𝑡,𝑥∗)接受新状态 𝑥∗ 并设置 𝑥𝑡+1=𝑥∗，否则拒绝新状态并设置 𝑥𝑡+1=𝑥𝑡。
重复迭代：执行足够多的迭代次数，直到链达到稳定状态。

常见的MCMC算法

Metropolis-Hastings算法：这是一种通用的MCMC算法，可以用来从几乎任何连续分布中采样。
吉布斯采样（Gibbs Sampling）：当目标分布可以分解成一组条件分布时，吉布斯采样是一种特别有效的MCMC方法。
Block Gibbs采样：在多元模型中，一次更新多个变量而不是单个变量。

应用

MCMC方法广泛应用于统计学、物理学、机器学习等领域，尤其是在贝叶斯统计中。常见的应用包括：

参数估计：在贝叶斯框架下估计模型参数的后验分布。
模型比较：通过计算贝叶斯因子或边际似然来进行模型选择。
不确定性量化：评估模型参数的不确定性。
优化问题：如模拟退火等算法可用于全局优化问题。

示例：使用MCMC估计正态分布的参数

假设我们有一组观测数据 𝑦1,𝑦2,…,𝑦𝑛，我们认为这些数据是从一个未知均值 𝜇和标准差 𝜎 的正态分布中抽取的。我们的目标是估计这两个参数的后验分布。

定义模型：假设先验分布为 𝜇∼𝑁(𝑚0,𝑆0) 和 𝜎∼𝐼𝐺(𝑎0,𝑏0)。
构建马尔科夫链：
- 对于每个参数，使用Metropolis-Hastings算法或者吉布斯采样。
- 在每次迭代中，从当前的均值和方差出发，提出新的候选值。
- 计算接受概率，如果接受，则更新参数；否则保持不变。
采样：运行足够长的迭代次数，丢弃最初的若干迭代作为燃烧期（burn-in period），剩下的样本作为后验分布的近似。

这个过程可以通过编程语言如R来实现。例如，可以使用R语言中的MCMC包（如 MCMCpack 或者 rstan）来完成这一任务。