Gibbs

最新推荐文章于 2024-04-19 10:07:07 发布
最新推荐文章于 2024-04-19 10:07:07 发布
阅读量1.4k 收藏 1
点赞数
文章标签： 算法 机器学习
原文链接：https://blog.csdn.net/yywan1314520/article/details/51013410
版权

1.gibbs简析：

 gibbs采样需要知道样本中一个属性在其它所有属性下的条件概率，然后利用这个条件概率来分布产生各个属性的样本值。gibbs采样属于随机模拟抽样算法中的一种（一类近似求解的方法）。随机模拟的核心是对一个分布进行抽样，常用的抽样算法包括：1. 接受-拒绝抽样；2）重要性抽样；3）MCMC（马尔科夫链蒙特卡洛方法）方法，它包括两个非常著名的采样算法（metropolis-hasting算法和它的特例Gibbs采样算法）（补充：MCMC方法最早由Metropolis（1954）给出，后来Metropolis的算法由Hastings改进，合称为M-H算法。M-H算法是MCMC的基础方法。由M-H算法演化出了许多新的抽样方法，包括目前在MCMC中最常用的Gibbs抽样也可以看做M-H算法的一个特例）。

2.那么采样究竟是解决什么样的问题？

 采样就是通过将一个不太好解决的问题转化为一个可以通过采样来解决的问题，用什么方法来采样比较好，这是一个创新的问题，一般没有固定的解法。

3.常见的采样方法

3.1 直接采样（简单）

3.2 接受-拒绝抽样（Acceptance-Rejection sampling)下面内容来源

很多实际问题中，p(x)是很难直接采样的的，因此，我们需要求助其他的手段来采样。既然 p(x) 太复杂在程序中没法直接采样，那么我设定一个程序可抽样的分布 q(x) 比如高斯分布，然后按照一定的方法拒绝某些样本，达到接近 p(x) 分布的目的，其中q(x)叫做 proposal distribution（建议分布） 。

这里写图片描述

具体操作如下，设定一个方便抽样的函数 q(x)，以及一个常量 k，使得 p(x) 总在 kq(x) 的下方。（参考上图）

  • 1.x 轴方向：从 q(x) 分布抽样得到 a。(如果是高斯，就用之前说过的 tricky and faster 的算法更快）
  • 2 . y 轴方向：从均匀分布（0, kq(a)) 中抽样得到 u。
  • 3.如果刚好落到灰色区域： u > p(a), 拒绝， 否则接受这次抽样
  • 重复以上过程

在高维的情况下，Rejection Sampling 会出现两个问题，第一是合适的 q 分布比较难以找到，第二是很难确定一个合理的 k 值。这两个问题会导致拒绝率很高，无用计算增加。

4.重要性抽样(Importance sampling)

重要性采样的理解是该方法目的并不是用来产生一个样本的，而是求一个函数的定积分的，只是因为该定积分的求法是通过对另一个叫容易采集分布的随机采用得到的。

下面图片来源：http://www.cnblogs.com/tornadomeet/archive/2013/03/26/2982694.html

这里写图片描述

其中通过对q(x)的随机采样，得到大量的样本x，然后求出f(x)*w(x)的均值，最终得出积分I值。其中的w(x)也就是重要性了，此时如果q(x)概率大，则得到的x样本数就多，这样w(x)的值也就多了，也间接体现了它越重要。

5.gibbs 采样

下面图片来源：http://www.cnblogs.com/tornadomeet/archive/2013/03/26/2982694.html

说明

5.1 Gibbs采样的目的是获得一个样本，不是计算概率，但可以通过其他方法来统计概率。

补充：

1 .MCMC理论简述：在满足【平衡方程】（detailed balance equation）条件下，MCMC可以通过很长的状态转移到达稳态。

平衡方程(F(x):指分布，p:指概率)：

F(x)∗p(y|x)=F(y)∗p(x|y)F(x)∗p(y|x)=F(y)∗p(x|y)

该方程描述分布与条件概率之间的平衡关系。

2.什么是采样？

 sampling就是以一定的概率分布，看发生什么事.

3. DRF：Markov Random Field

reference:

倔强菜鸟
关注
Gibbs程序，很全面
05-14
gibbs的程序 很全面的程序代码 可以作为工具用
Gibbs现象
fortunemouse的博客
11-08 2289
吉布森现象绘制（python）
Gibbs采样
08-14 2793
　在MCMC(三)MCMC采样和M-H采样中，我们讲到了M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布好求，但是特征的联合分布不好求。因此需要一个好的方法来改进M-H采样，这就是我们下面讲到的Gibbs采样。 1. 重新寻找合适...
深度探索：机器学习中的Gibbs算法原理及其应用
qq_51320133的博客
04-19 2730
Gibbs抽样作为MCMC方法的有力工具，凭借其简便的条件抽样机制和对高维复杂分布的有效处理能力，在机器学习领域，特别是统计推断、贝叶斯学习、隐变量模型等场景中展现了强大的实用价值。尽管存在收敛速度、条件分布计算等方面的挑战，但随着计算技术的发展和优化算法的创新（如加速马尔可夫链、近似推断方法等），Gibbs抽样及其变种将继续在处理大规模、复杂概率模型的问题中发挥重要作用。未来研究可能聚焦于提高Gibbs抽样的计算效率、处理强相关分布的能力，以及与其他推断方法（如变分推断、神经网络概率模型等）的深度融合，以
Gibbs 采样的应用
weixin_30673611的博客
04-03 578
Gibbs 采样的最大作用在于使得对高维连续概率分布的抽样由复杂变得简单。 可能的应用： 计算高维连续概率分布函数的数学期望， Gibbs 采样得到 n 个值，再取均值； 比如用于 RBM； 转载于:https://www.cnblogs.com/mtcnn/p/9421779.html...
统计计算-Gibbs抽样
08-01
Gibbs抽样是一种在统计计算中广泛应用的马尔科夫链蒙特卡洛（MCMC）方法，尤其在处理高维复杂概率分布时，它能有效地生成近似于目标分布的样本序列。该方法的基本思想是通过迭代的方式，每次从一个变量的条件概率...
MATLAB工具箱大全-Gibbs-SeaWater (GSW)海洋学工具箱
02-10
MATLAB工具箱大全中的Gibbs-SeaWater (GSW)海洋学工具箱是一个专门用于海洋物理学计算的重要软件资源，它提供了丰富的函数和算法，帮助科研人员和工程师处理与海洋水体性质相关的复杂问题。该工具箱基于Gibbs sea...
LDA模型里Gibbs sampling后验概率详细推导过程
11-17
Gibbs Sampling Derivation for LDA and ToT, Han Xiao, Ping luo Gibbs sampling:为了对x进行佔计,一般我们要从 P(X)≡P 中进行抽样。如果P(X)不易求得,我们可以通过对所有的P(x|X_)进行抽样来近似 其步骤如下 1....
matlab_code.rar_Gibbs 抽样算法_MCMC抽样_gibbs抽样matlab_分布 抽样_联合概率分布
09-20
Gibbs抽样是一种在统计学和统计物理学中广泛使用的马尔科夫链蒙特卡洛（MCMC）方法，用于模拟复杂多维概率分布的样本。在给定的"matlab_code.rar"压缩包中，包含了两个关键的MATLAB代码文件——"Gibbs.m"和"MC.m"，...
吉布斯采样matlab代码-matlab_gibbs_lda:matlab_gibbs_lda
05-28
吉布斯采样matlab代码matlab_gibbs_lda 具有Gibbs采样的LDA是使用MATLAB实现的。 文档主题上的Dirichlet分布的超参数采样基于Mallet，但使用纯MATLAB代码重新实现。 输入数据格式： 一个3行矩阵X的AN，对于第i行，X...
Gibbs分布的详细介绍
04-27
Gibbs分布是很重要的一种分布，在统计建模方面有重要帮助
LDA详解,Gibbs抽样
05-07
这是一份英文文档，是比较详细地介绍LDA的一篇论文，写的比较基础，比LDA首创作者的论文好懂一些，最后的参数推理采用的是Gibbs抽样
吉布斯抽样
kyang624823的博客
11-15 8328
吉布斯采样是生成马尔科夫链的一种方法，生成的马尔科夫链可以用来做蒙特卡洛仿真，从而求得一个较复杂的多元分布。 吉布斯采样的具体做法：假设有一个k维的随机向量，现想要构造一条有n个样本的k维向量（n样本马尔科夫序列），那么（随机）初始化一个k维向量，然后固定这个向量其中的k-1个元素，抽取剩下的那个元素（生成给定后验的随机数），这样循环k次，就把整个向量更新了一遍，也就是生成了一个新的样本，把
简单易学的机器学习算法——Gibbs采样
null的专栏
07-04 2万+
一、Gibbs采样概述前面介绍的Metropolis-Hastings采样为从指定分布中进行采样提供了一个统一的框架，但是采样的效率依赖于指定的分布的选择，若是选择的不好，会使得接受率比较低，大量的采样被拒绝，影响到整体的收敛速度。Gibbs采样是Metropolis-Hastings采样算法的特殊形式，即找到一个已知的分布，使得接受率α=1\alpha =1。这样，每次的采样都会被接受，可以提高M
Gibbs抽样
To be a better man
12-25 1388
具体的说，Gibbs抽样是已知多维随机变量X=(X1,X2,...,Xn)X = (X_1,X_2,...,X_n)X=(X1​,X2​,...,Xn​)的联合概率分布p(x1,x2,...,xn)p(x_1,x_2,...,x_n)p(x1​,x2​,...,xn​),，求X的函数G(X)的数学期望的方法： 给出一组初始抽样(如随机抽样)； 利用联合概率分布和当前抽样，计算每一分量的条件概率分...
随机采样和随机模拟：吉布斯采样Gibbs Sampling
热门推荐
皮皮blog
05-12 10万+
http://blog.csdn.net/pipisorry/article/details/51373090 吉布斯采样算法详解 为什么要用吉布斯采样 什么是sampling? sampling就是以一定的概率分布，看发生什么事件。举一个例子。甲只能E：吃饭、学习、打球，时间T：上午、下午、晚上，天气W：晴朗、刮风、下雨。现在要一个sample，这个sample可以是：打球+下午+晴朗。...
主题模型LDA（二）gibbs采样方法
xuqn0606的博客
11-05 3310
Gibbs采样过程 Gibbs采样可以从复杂的概率分布中生成数据，只需要知道每个分量相对其他分量的条件下就可以进行采样。具体可以看这篇博客 　　LDA的gibbs采样步骤是：初始随机给每个文档的每个词赋予一个主题，统计词与主题的信息得到n⃗k\vec n_knk​和n⃗m\vec n_mnm​的值，然后计算对每个词wiw_iwi​(这里为方便,将wiw_iwi​代替wm,nw_{m,n}wm,n​...
LDA求解：Gibbs采样算法
山中有石为玉
06-20 1746
本文是LDA主题模型的第二篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了基于MCMC的Gibbs采样算法，如果你对MCMC和Gibbs采样不熟悉，建议阅读之前写的MCMC系列MCMC(四)Gibbs采样。   1. Gibbs采样算法求解LDA的思路 　　　　首先，回顾LDA的模型图如下： 　　　　在Gibbs采样算法求解LDA的方法中，我们的α,ηα,...
gibbs
最新发布
03-08
### Gibbs Sampling算法在机器学习中的应用 Gibbs Sampling是一种马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC)方法，在贝叶斯统计中广泛应用于估计复杂的多维概率分布。当直接抽样困难时，该技术允许从条件分布间接抽取样本。 对于给定的数据集\(D\)以及参数\(\theta\)，如果难以直接获取联合分布\(p(D,\theta)\)，但可以较容易获得各变量的条件分布，则可以通过Gibbs Sampling逐步更新每个维度上的值来近似整个系统的状态空间[^2]。 具体到主题模型如潜在狄利克雷分配(Latent Dirichlet Allocation, LDA)[^1]，其中文档-词项矩阵表示为\(W\)、主题比例向量表示为\(\alpha\)、每篇文档的主题分布表示为\(\beta\)。由于无法直接求得这些隐含结构的确切解，因此借助于Gibbs Sampling迭代地调整各个位置上单词对应的主题标签，从而逼近真实的后验分布： ```python import numpy as np def gibbs_sampling_lda(documents, K, alpha=0.1, beta=0.01, iterations=1000): """ 实现简单的LDA-Gibbs采样器 参数: documents (list of list): 文档集合，形式为[[word_id]]. K (int): 主题数量. alpha (float or array-like): 超参α，默认为0.1. beta (float or array-like): 超参β，默认为0.01. iterations (int): 迭代次数，默认为1000次. 返回: tuple: 包括z[n,d], nzw[z,w], ndz[d,z]. z(ndarray): 每个词语所属的主题编号; nzw(ndarray): 各主题下不同词汇的数量; ndz(ndarray): 不同文档内各类别的计数. """ D = len(documents) V = max([max(d) for d in documents]) + 1 # 单词总数目 N_d = [len(doc) for doc in documents] # 初始化辅助数组 z = [[np.random.randint(K) for _ in range(N)] for N in N_d] nzw = np.zeros((K,V)) ndz = np.zeros((D,K)) for i,doc in enumerate(z): for j,t in enumerate(doc): w = documents[i][j] nzw[t][w]+=1 ndz[i][t]+=1 for it in range(iterations): for di, document in enumerate(documents): for wi, word in enumerate(document): old_topic = z[di][wi] # 减去当前贡献 nzw[old_topic][word]-=1 ndz[di][old_topic]-=1 # 计算新topic的概率并重采样 p_z = ((nzw[:,word]+beta)/(ndz.sum(axis=-1)+V*beta)) * \ ((ndz[di,:]+alpha)/(sum(nzw[:,word])+K*alpha)) new_topic=np.argmax(np.random.multinomial(1,p_z/p_z.sum())) # 更新新的topic信息 z[di][wi]=new_topic nzw[new_topic][word]+=1 ndz[di][new_topic]+=1 return z,nzw,ndz ``` 此代码片段展示了如何基于Python实现一个基础版本的LDA-Gibbs Sampler。注意这只是一个简化版的例子，实际应用可能还需要考虑更多因素以提高效率和准确性[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值