大数据时代的采样定理：马尔可夫链蒙特卡洛(MCMC)与其python实现

最新推荐文章于 2024-10-04 05:15:00 发布

Life is a joke

最新推荐文章于 2024-10-04 05:15:00 发布

阅读量3.2k

点赞数 2

分类专栏： PYTHON 人工智能文章标签： python big data 概率论

本文链接：https://blog.csdn.net/qq_45756171/article/details/122798411

版权

大数据时代，传统的采样定理在构造概率分布时面临挑战。马尔科夫链蒙特卡洛（MCMC）方法利用马尔科夫链的特性与蒙特卡洛模拟，有效解决高维数据采样问题。文章介绍了二维正态分布的Gibbs采样过程，并阐述了MCMC在大数据中应用的重要性。

摘要由CSDN通过智能技术生成

大数据时代的特点是数据除了数量多、维度也将变多。那么传统的采样定理如果要构造合适的概率分布函数耗时且耗费大量算力。
因此引入马尔科夫链的遍历性（Ergodicity）、常返性（recurrency）特点以及蒙特卡洛方法的大量实验逼近真实概率分布的原理实现多维的数据采样。从而构造概率分布函数。
假设我们要采样的是一个二维正态分布 N（U,SIGMA），其中： U=（5，-1），方差sigma=（1,1
1,4 ）;

而采样过程中的需要的状态转移条件分布为：在这里插入图片描述

在这里插入图片描述

from mpl_toolkits.mplot3d import Axes3D
from scipy.stats import multivariate_normal

samplesource = multivariate_normal(mean=[5,-1], cov=[[1,0.5],[0.5,2]])

def p_ygivenx(x, m1, m2, s1, s2):