变分推理ELBO详解

置顶 已于 2023-12-19 17:08:06 修改
阅读量1.7k 收藏 24
点赞数 12
文章标签： 机器学习 深度学习 算法 人工智能 神经网络
于 2023-12-18 21:37:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73784868/article/details/135071484
版权
本文介绍了先验概率和后验概率的基本概念，重点阐述了如何通过ELBO（证据下界）近似后验概率，包括利用贝叶斯定理和KL散度计算。变分推理的核心是通过参数化的概率函数逼近真实后验，以处理复杂模型中的隐变量问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一. 基础知识

1. 先验概率&后验概率

二. ELBO详解

1. 求取后验概率的概率论基本方法(ELBO出现的原因)

通过贝叶斯定理求后验概率

求联合概率p(x,z)替代后验概率

二. 通过ELMO近似后验概率

1. 设一个z的先验概率分布函数来近似后验概率

 2.利用KL散度计算所设概率函数和后验概率的相似度

 3. 计算ELBO 

三. 结论

一. 基础知识

1. 先验概率&后验概率

x的先验概率分布：已知样本x的真实分布概率。可以理解为观测到的图片样本。

后验概率分布： 在真实样本概率分布的条件下的隐变量z的概率分布。可以理解为所观测到图片的类别等无法直接观测获得的隐藏变量。

二. ELBO详解

1. 求取后验概率的概率论基本方法(ELBO出现的原因)

通过贝叶斯定理求后验概率

但是因为p(x)作为边缘概率因为是联合概率积分且很难直接计算所以非常的棘手

求联合概率p(x,z)替代后验概率

        因为联合概率正比于后验概率(k = p(x), p(x)作为先验概率是常数)所以可以大致推导出后验概率的趋势。

但是由于实际上还是存在较大差异所以并不能用联合概率来替代后验概率

2. 通过ELMO近似后验概率

1. 设一个z的先验概率分布函数来近似后验概率

 2.利用KL散度计算所设概率函数和后验概率的相似度

 ELBO: 这里log p(x)是常数,也就是越接近到下界(elbo)的时候所设函数q越接近后验概率

 3. 计算ELBO 

        可以直接通过求导来计算出最大化ELBO因为最终参数只有\theta, 这里的例子较为简单,但是实际情况是无法计算出解析解的。

三. 结论

1. 变分推理(elbo)就是将一个可以计算可以参数化的概率函数去近似真实的后验概率

2.  推理可以理解为通过一个被观测对象来推理相关隐变量后验概率密度分布的隐变量图模型

3. 隐变量可以理解为观测变量的属性或者特征,可以通过隐变量来提升模型对可观测变量的理解

Quanato
关注
变分推断中的ELBO(证据下界)
sinat_41942180的博客
03-05 2301
变分推理的目标是近似潜在变量(latent variables)在观测变量（observed variables）下的条件概率。解决该问题，需要使用优化方法。在变分推断中，需要使用到的一个重要理论，是平均场理论。
变分推理-ELBO
qq_39588577的博客
11-04 3395
变分推理 变分推理的原理等价于最小化KL散度： KL(qθ(ω)∥p(ω∣D))=∫qθ(ω)log⁡qθ(ω)p(ω∣D)dω K L\left(q_{\boldsymbol{\theta}}(\boldsymbol{\omega}) \| p(\boldsymbol{\omega} \mid \mathcal{D})\right)=\int q_{\boldsymbol{\theta}}(\boldsymbol{\omega}) \log \frac{q_{\boldsymbol{\theta}}(\b
变分推断(Variational Inference)
dianjun9551的博客
02-14 531
(学习这部分内容大约需要花费1.1小时) 摘要 在我们感兴趣的大多数概率模型中, 计算后验边际或准确计算归一化常数都是很困难的. 变分推断(variational inference)是一个近似计算这两者的框架. 变分推断把推断看作优化问题: 我们尝试根据某种距离度量来寻找一个与真实后验尽可能接近的分布(或者类似分布的表示) 预备知识 学习变分推断需要以下预备知识 多元分布: 边际化(...
变分推理
BHUER的博客
03-08 2197
variational inference 泛函极值问题又称变分问题,寻求泛函极值的方法称为变分法「60]。图模型 变分推理是基于数学变分法的近似推理方法,其基本思想是根据凸对偶原理(凸 函数的共辘对偶性)把对图模型联合概率分布进行变量求和的概率推理问题转 化为关于自由分布的泛函极值问题,并通过近似求解泛函极值计算出目标函数 的上下界。 具体参考：天津大学博士学位论文 基
Python-Python软件包利用PyTorch的变分推理来促进使用贝叶斯深度学习方法
08-11
本项目聚焦于使用PyTorch实现变分推理（Variational Inference, VI）来推动贝叶斯深度学习（Bayesian Deep Learning, BDL）的应用。变分推理是一种在高维复杂模型中进行概率推断的实用方法，特别是在处理神经网络不...
变分自编码器详解：高效推断与学习
VAE的核心思想是通过变分推理来近似复杂的数据后验分布。 VAE的模型结构通常包括两部分：编码器和解码器。编码器将输入数据映射到一个潜在空间的随机向量，而解码器则尝试根据这个向量重构原始输入。在这个过程中，...
深度学习：变分自编码器详解
它涵盖了VAEs的基本原理、目的、概率模型与变分推断、神经网络在参数化条件分布中的应用，以及深度潜在变量模型的学习和推理。文档还详细讨论了学习完全观测模型时使用神经网络的问题、不可行性问题，以及变分自编码...
变分自编码器（VAE）详解与实现（tensorflow2(2)
2401_83817343的博客
04-22 661
外链图片转存中…(img-WpgRn0rz-1713766351416)]
变分贝叶斯推理（平均场理论，变分法，贝叶斯推断，EM 算法，KL 散度，变分估计，变分消息传递）
10-21
平均场理论，变分法，贝叶斯推断，EM 算法，KL 散度，变分估计，变分消息传递
变分自编码器VAE原理详解与应用
然而，这个积分通常是不可解的，因此VAE采用变分推理，引入一个易于处理的近似后验分布`q(z|x)`，并试图最小化KL散度`D_{KL}(q(z|x)||p(z|x))`，同时最大化证据下界（ELBO）。 3. **生成过程与衡量指标** VAE的...
变分推理(Variational Inference)
龙行天下的博客
08-25 785
给定网络参数 ω\boldsymbol \omegaω, 训练数据集 D=(X,Y)\mathbf{D} = (\mathbf{X}, \mathbf{Y})D=(X,Y), 贝叶斯推断是将网络参数 ω\boldsymbol \omegaω 建模为一个符合某种分布的随机变量而不是确定的值，故给定测试数据 x∗\mathbf{x}^{*}x∗, 贝叶斯网络求取对应预测值 y∗\mathbf{y}^{*}y∗ 的公式为： p(y∗∣x∗,X,Y)=∫p(y∗∣x∗,ω)p(ω∣X,Y)dωp\left(\ma
ELBO公式推导 (variational inference)
ltz0120的博客
12-11 9889
Variational inference （变分推论）是为了解决当真实后验分布难以计算的情况下 （通常是因为无法直接计算），用一个方便学习的分布来近似真实后验分布. 因此 对x的log-likelihood function可以写成. 其中是让学到的分布去接近真实后验分布，是variational lower bound，也叫evidence lower bound (ELBO). 下面来计算： 以上为一个简单的ELBO形式 再继续往下推： ...
（简单易懂）Variational Inference 变分推理
qq_39214409的博客
05-04 1433
作为经典的网络结构之一，Auto-Encoder在深度学习的多个领域中有着出色的表现，依赖于重构误差的反向优化，模型可以学习到数据在低维空间的表示，过滤掉数据的冗余特征，得到细粒度特征。但是，AE学习的是确定性编码（潜在表示经常是确定性的），而不是数据的概率分布，不能直接提供关于数据分布的信息，可能会产生过拟合等问题。
变分推断（Variational Inference）
热门推荐
咔咔响
01-04 1万+
1.变分推断简称VI，是一种确定性近似推断方法2.基于平均场理论的VI是假设q(z)可以分解为M个独立qi3.采取坐标上升法可以求解VI问题4.VI有两个局限：假设太强，同时积分也不一定...
【文生图系列】基础篇-变分推理（数学推导）
陶将的博客
06-18 3968
此篇博文主要介绍什么是变分推理(Variational Inference , VI)，以及它的数学推导公式。变分推理，是机器学习中一种流行的方式，使用优化的技术估计复杂概率密度。变分推理的工作原理：**首先选择一系列概率密度函数，然后采用KL散度作为优化度量找到最接近于概率密度的函数**。引入evidence lower bound的方法更容易计算近似概率。
变分推断(Variational Inference,)与证明下界(Evidence Lower Bound, ELBO)
Rover的博客
05-02 2048
假设我们现在要做一个生成模型，我们只有训练集的数据，要求数据的分布p，我们当然无法直接求。因此一个可行的方法是，找一个容易表达和求解的分布q，只要p和q的分布差异足够小，我们就可以将q作为p的近似分布了，成为我们的输出结果。而求解这个过程的方法，就叫做变分推断。这样的一个思路，我们就可以把一个求分布问题，转变成了“缩小距离”的优化问题。本文在开头，先直白讲解了什么叫做变分推断，以及它的作用。然后从机器学习的生成模型的背景开始，逐步引出变分推断的使用，最后从头到尾推导了，ELBO的由来。
变分推断
最佳损友
06-10 3828
      变分推断是近年来深度学习中一个非常重要的技术手段。推断困难通常是指难以计算p(h|v)或其期望，其中v指的是模型的可观测变量，而h表示隐藏变量。在深度神经网络中，多层的隐藏变量之间联系复杂，无法通过一个具体地概率密度函数来刻画隐藏变量的实际分布情况。即使对于单层的稀疏编码器，倘若隐变量之间没有相关的独立性假设，其内部隐藏单元的概率分布密度函数也是很难刻画的，原因是当输出变量被观测时，其...
DDPM模型中的ELBO
最新发布
02-19
### DDPM模型中的ELBO含义及其应用 #### ELBO在变分推理中的角色 在变分自编码器(VAE)框架内，置信下界(Evidence Lower Bound, ELBO)，也被称为变分下界(variational lower bound)[^2]。对于扩散概率模型(Diffusion Probabilistic Models, DPMs),特别是DDPM (Denoising Diffusion Probabilistic Models)，同样依赖于这一原则来进行有效的训练。 #### ELBO的具体表达形式 具体来说，在VAE中，ELBO可以被定义为数据对数似然的一个可计算的下限，其目标是在最大化该下限时最小化重构误差并保持潜在空间的良好分布特性。对于DDPM而言，虽然架构不同，但优化的目标依然是通过调整模型参数使得ELBO尽可能大，从而间接提高生成样本的质量。 #### 应用于DDPM 在DDPM中，ELBO体现为前向过程(forward process)和反向过程(reverse process)之间的差异度量。前向过程中加入噪声逐步破坏输入图像；而在反向过程中，则是从纯噪声开始尝试恢复原始信号。为了实现这一点，DDPM采用了一种特殊的损失函数设计——去噪得分匹配(denoising score matching)，这实际上就是针对特定时间步长t下的ELBO近似估计[^1]。 ```python def compute_elbo_loss(x_start, model_output, t): """ 计算给定时刻t处的ELBO损失. 参数: x_start: 初始干净图像 model_output: 模型预测的结果 t: 当前的时间索引 返回: elbo_loss: 对应时间点上的ELBO损失值 """ noise = torch.randn_like(x_start) sqrt_alpha_cumprod_t = extract(sqrt_alphas_cumprod, t, x_start.shape) sqrt_one_minus_alpha_cumprod_t = extract( sqrt_one_minus_alphas_cumprod, t, x_start.shape ) noisy_image = sqrt_alpha_cumprod_t * x_start + sqrt_one_minus_alpha_cumprod_t * noise predicted_noise = model_output(noisy_image, t) elbo_loss = F.mse_loss(predicted_noise, noise) return elbo_loss ``` 此代码片段展示了如何基于DDPM理论框架构建一个简单的ELBO损失计算器。这里`model_output`代表经过训练后的神经网络输出，而`t`则是当前处理阶段对应的时间戳。最终返回的是MSE(mean squared error)作为衡量标准之一来评估模型性能的好坏程度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值