变分推理ELBO详解

置顶 已于 2023-12-19 17:08:06 修改
阅读量1.3k 收藏 17
点赞数 9
文章标签： 机器学习 深度学习 算法 人工智能 神经网络
于 2023-12-18 21:37:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73784868/article/details/135071484
版权
本文介绍了先验概率和后验概率的基本概念，重点阐述了如何通过ELBO（证据下界）近似后验概率，包括利用贝叶斯定理和KL散度计算。变分推理的核心是通过参数化的概率函数逼近真实后验，以处理复杂模型中的隐变量问题。
摘要由CSDN通过智能技术生成

目录

一. 基础知识

1. 先验概率&后验概率

二. ELBO详解

1. 求取后验概率的概率论基本方法(ELBO出现的原因)

通过贝叶斯定理求后验概率

求联合概率p(x,z)替代后验概率

二. 通过ELMO近似后验概率

1. 设一个z的先验概率分布函数来近似后验概率

 2.利用KL散度计算所设概率函数和后验概率的相似度

 3. 计算ELBO 

三. 结论

一. 基础知识

1. 先验概率&后验概率

x的先验概率分布：已知样本x的真实分布概率。可以理解为观测到的图片样本。

后验概率分布： 在真实样本概率分布的条件下的隐变量z的概率分布。可以理解为所观测到图片的类别等无法直接观测获得的隐藏变量。

二. ELBO详解

1. 求取后验概率的概率论基本方法(ELBO出现的原因)

通过贝叶斯定理求后验概率

但是因为p(x)作为边缘概率因为是联合概率积分且很难直接计算所以非常的棘手

求联合概率p(x,z)替代后验概率

        因为联合概率正比于后验概率(k = p(x), p(x)作为先验概率是常数)所以可以大致推导出后验概率的趋势。

但是由于实际上还是存在较大差异所以并不能用联合概率来替代后验概率

2. 通过ELMO近似后验概率

1. 设一个z的先验概率分布函数来近似后验概率

 2.利用KL散度计算所设概率函数和后验概率的相似度

 ELBO: 这里log p(x)是常数,也就是越接近到下界(elbo)的时候所设函数q越接近后验概率

 3. 计算ELBO 

        可以直接通过求导来计算出最大化ELBO因为最终参数只有\theta, 这里的例子较为简单,但是实际情况是无法计算出解析解的。

三. 结论

1. 变分推理(elbo)就是将一个可以计算可以参数化的概率函数去近似真实的后验概率

2.  推理可以理解为通过一个被观测对象来推理相关隐变量后验概率密度分布的隐变量图模型

3. 隐变量可以理解为观测变量的属性或者特征,可以通过隐变量来提升模型对可观测变量的理解

Quanato
关注
变分推理-ELBO
qq_39588577的博客
11-04 3305
变分推理 变分推理的原理等价于最小化KL散度： KL(qθ(ω)∥p(ω∣D))=∫qθ(ω)log⁡qθ(ω)p(ω∣D)dω K L\left(q_{\boldsymbol{\theta}}(\boldsymbol{\omega}) \| p(\boldsymbol{\omega} \mid \mathcal{D})\right)=\int q_{\boldsymbol{\theta}}(\boldsymbol{\omega}) \log \frac{q_{\boldsymbol{\theta}}(\b
变分推断中的ELBO(证据下界)
sinat_41942180的博客
03-05 1634
变分推理的目标是近似潜在变量(latent variables)在观测变量（observed variables）下的条件概率。解决该问题，需要使用优化方法。在变分推断中，需要使用到的一个重要理论，是平均场理论。
【自由能系列（高级）】证据下界（ELBO）及其在变分自编码器中的应用
最新发布
神经美学_茂森的博客
08-30 1333
证据下界（ELBO）是用于衡量生成模型和推断网络性能的一个重要指标，特别是在变分自编码器（VAE）中。ELBO通过最大化来优化模型，以提升的能力。Lθϕ;xEq​logpxz∣θ)]−Eq​logqz∣ϕ)]其中，x是观测数据，z是隐变量，θ和ϕ分别是生成模型和推断网络的参数。
变分推断(Variational Inference)
dianjun9551的博客
02-14 509
(学习这部分内容大约需要花费1.1小时) 摘要 在我们感兴趣的大多数概率模型中, 计算后验边际或准确计算归一化常数都是很困难的. 变分推断(variational inference)是一个近似计算这两者的框架. 变分推断把推断看作优化问题: 我们尝试根据某种距离度量来寻找一个与真实后验尽可能接近的分布(或者类似分布的表示) 预备知识 学习变分推断需要以下预备知识 多元分布: 边际化(...
变分推理
qq_64659391的博客
07-13 139
由于边缘概率通常包含隐变量的积分，所以真实的后验概率的概率密度分布通常难以计算。变分推理的逻辑在于，使用一组简单的可以参数化的概率密度分布近似真实的后验密度分布，将推理难以计算的问题变成一个可以计算的优化问题。由于最小化kl散度较难（不知道真实的后验概率分布），因而最大化期望（由联合概率和近似概率组成）。变分推理：使用近似的概率分布去完成，在给定被观测变量的情况下，对隐变量概率分布的估计过程。从被观测数据去推理无法观测的隐变量过程。其中，x(被观测变量)，z(通过读入编码的方式读入属性及类别--隐变量)
Python-Python软件包利用PyTorch的变分推理来促进使用贝叶斯深度学习方法
08-11
本项目聚焦于使用PyTorch实现变分推理（Variational Inference, VI）来推动贝叶斯深度学习（Bayesian Deep Learning, BDL）的应用。变分推理是一种在高维复杂模型中进行概率推断的实用方法，特别是在处理神经网络不...
变分自编码器详解：高效推断与学习
VAE的核心思想是通过变分推理来近似复杂的数据后验分布。 VAE的模型结构通常包括两部分：编码器和解码器。编码器将输入数据映射到一个潜在空间的随机向量，而解码器则尝试根据这个向量重构原始输入。在这个过程中，...
深度学习：变分自编码器详解
它涵盖了VAEs的基本原理、目的、概率模型与变分推断、神经网络在参数化条件分布中的应用，以及深度潜在变量模型的学习和推理。文档还详细讨论了学习完全观测模型时使用神经网络的问题、不可行性问题，以及变分自编码...
变分自编码器（VAE）详解与实现（tensorflow2(2)
2401_83817343的博客
04-22 630
外链图片转存中…(img-WpgRn0rz-1713766351416)]
变分贝叶斯推理（平均场理论，变分法，贝叶斯推断，EM 算法，KL 散度，变分估计，变分消息传递）
10-21
平均场理论，变分法，贝叶斯推断，EM 算法，KL 散度，变分估计，变分消息传递
变分自编码器VAE原理详解与应用
然而，这个积分通常是不可解的，因此VAE采用变分推理，引入一个易于处理的近似后验分布`q(z|x)`，并试图最小化KL散度`D_{KL}(q(z|x)||p(z|x))`，同时最大化证据下界（ELBO）。 3. **生成过程与衡量指标** VAE的...
变分推理(Variational Inference)
龙行天下的博客
08-25 763
给定网络参数 ω\boldsymbol \omegaω, 训练数据集 D=(X,Y)\mathbf{D} = (\mathbf{X}, \mathbf{Y})D=(X,Y), 贝叶斯推断是将网络参数 ω\boldsymbol \omegaω 建模为一个符合某种分布的随机变量而不是确定的值，故给定测试数据 x∗\mathbf{x}^{*}x∗, 贝叶斯网络求取对应预测值 y∗\mathbf{y}^{*}y∗ 的公式为： p(y∗∣x∗,X,Y)=∫p(y∗∣x∗,ω)p(ω∣X,Y)dωp\left(\ma
ELBO公式推导 (variational inference)
ltz0120的博客
12-11 9645
Variational inference （变分推论）是为了解决当真实后验分布难以计算的情况下 （通常是因为无法直接计算），用一个方便学习的分布来近似真实后验分布. 因此 对x的log-likelihood function可以写成. 其中是让学到的分布去接近真实后验分布，是variational lower bound，也叫evidence lower bound (ELBO). 下面来计算： 以上为一个简单的ELBO形式 再继续往下推： ...
（简单易懂）Variational Inference 变分推理
qq_39214409的博客
05-04 1296
作为经典的网络结构之一，Auto-Encoder在深度学习的多个领域中有着出色的表现，依赖于重构误差的反向优化，模型可以学习到数据在低维空间的表示，过滤掉数据的冗余特征，得到细粒度特征。但是，AE学习的是确定性编码（潜在表示经常是确定性的），而不是数据的概率分布，不能直接提供关于数据分布的信息，可能会产生过拟合等问题。
变分推断（Variational Inference）
热门推荐
咔咔响
01-04 1万+
1.变分推断简称VI，是一种确定性近似推断方法2.基于平均场理论的VI是假设q(z)可以分解为M个独立qi3.采取坐标上升法可以求解VI问题4.VI有两个局限：假设太强，同时积分也不一定...
【文生图系列】基础篇-变分推理（数学推导）
陶将的博客
06-18 3465
此篇博文主要介绍什么是变分推理(Variational Inference , VI)，以及它的数学推导公式。变分推理，是机器学习中一种流行的方式，使用优化的技术估计复杂概率密度。变分推理的工作原理：**首先选择一系列概率密度函数，然后采用KL散度作为优化度量找到最接近于概率密度的函数**。引入evidence lower bound的方法更容易计算近似概率。
变分推断
最佳损友
06-10 3789
      变分推断是近年来深度学习中一个非常重要的技术手段。推断困难通常是指难以计算p(h|v)或其期望，其中v指的是模型的可观测变量，而h表示隐藏变量。在深度神经网络中，多层的隐藏变量之间联系复杂，无法通过一个具体地概率密度函数来刻画隐藏变量的实际分布情况。即使对于单层的稀疏编码器，倘若隐变量之间没有相关的独立性假设，其内部隐藏单元的概率分布密度函数也是很难刻画的，原因是当输出变量被观测时，其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值