变分推断-学习笔记

最新推荐文章于 2024-11-05 15:56:29 发布
最新推荐文章于 2024-11-05 15:56:29 发布
阅读量273 收藏
点赞数 7
分类专栏： 基础知识学习 文章标签： 学习 笔记 人工智能 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61681867/article/details/140217927
版权

假设在贝叶斯模型中，x={x_1, x_2,...,x_n}为一组观测数据，z={z_1,z_2,...,z_n}为一组隐变量（参数），给出先验p(z)，计算后验p(z|x)，根据贝叶斯公式，有：

但是在实际应用中，可能由于积分没有闭式解，或者是指数级的计算复杂度等原因，导致计算上面公式中的积分往往是不可行的。

变分推断就是用来解决这个问题的。

既然无法直接求得后验概率密度p(z∣x)，那我们可以寻找一个简单的分布q*(z)来近似后验概率密度p(z|x)，这就是变分推断的思想。借此，我们将推断问题转换为一个泛函优化问题。

 

KL = -ELBO + log p(x) 

 

CanCanCanedFish
关注
专栏目录
2020-4-15 深度学习笔记19 - 近似推断 3 (变分推断和变分学习-离散型/连续型变量，变分法,学习和推断之间的相互作用)
weixin_42555985的博客
05-01 1390
第十九章 近似推断 Approximate Inference 中文 英文 2020-4-13 深度学习笔记19 - 近似推断 1 (把推断视作优化问题-证据下界，期望最大化EM-最大化下界 ) 2020-4-14 深度学习笔记19 - 近似推断 2 (最大后验推断MAP和稀疏编码 ) 变分推断和变分学习Variational Inference and Learning 关于变分推断可以参考ht...
机器学习笔记之变分推断(四)随机梯度变分推断(SGVI)
静静的学习就好
09-18 1946
上一节介绍了基于平均场假设的变分推断与广义EM算法的关系，本节将介绍通过随机梯度的思想实现变分推断。
B站最火《机器学习白板推导系列》学习笔记-P74（系列十二）变分推断34-SGVI-2(随机变分推断)
weixin_37582409的博客
10-16 110
B站最火《机器学习白板推导系列》学习笔记-P73（系列十二）变分推断34-SGVI-1(随机变分推断)
weixin_37582409的博客
10-15 72
机器学习笔记之变分推断(五)重参数化技巧
静静的学习就好
09-19 3046
上一节介绍了随机梯度变分推断(Stochastic Gradient Variational Inference,SGVI)。本节将介绍SGVI求解过程中遇到的问题，并针对为题介绍一种处理方法——重参数化技巧。
机器学习笔记之变分推断
phily123的博客
12-08 374
为了求解隐变量z在观测变量x的条件概率，根据p(z|x)=p(x,z)/p(x)，又因为p(x)很难求出，所以可以通过拟合q(z)与p(z|x)的分布来近似求出p(z|x)，通过最小化q(z)与p(z|x)的KL散度来求出q(z)的分布。
机器学习笔记之变分推断(二)公式推导过程(基于平均场假设)
静静的学习就好
09-15 2010
上一节介绍了分别从频率角度和贝叶斯角度认识机器学习问题，并介绍了推断(Inference)在整个贝叶斯角度的重要作用。本节将正式介绍确定性近似推断的代表方法——变分推断(Variational Inference)
机器学习-白板推导-系列（十二）笔记：变分推断
我是一只小嵩鼠
02-22 575
本博客为（系列十二）的笔记，对应的视频是：【(系列十二) 变分推断1-背景介绍】、【(系列十二) 变分推断2-公式推导】【(系列十二) 变分推断3-再回首】、【(系列十二) 变分推断4-SGVI-1】、【(系列十二) 变分推断5-SGVI-2】。
B站最火《机器学习白板推导系列》学习笔记-P72（系列十二）变分推断3-再回首
weixin_37582409的博客
10-15 73
机器学习之变分推断(三)基于平均场假设变分推断与广义EM
静静的学习就好
09-18 1252
上一节介绍了基于平均场假设的变分推断推导过程。本节将介绍平均场假设变分推断与广义EM之间的联系。
嵌入式通信协议：MODBUS简明学习笔记
weixin_73867577的博客
11-02 374
学习Modbus的简明学习笔记
# SpringMVC学习
11-04 957
SpringMVC 是 Spring 框架的一部分，专门用于构建 Web 应用程序。它遵循 MVC（Model-View-Controller）设计模式，通过一系列组件和机制实现了请求的接收、处理和响应。
软件测试学习笔记丨Vue常用指令-条件渲染（v-if）
ceshiren_com的博客
11-05 576
v-show只是简单控制dom元素的display属性。v-if通过操纵dom元素来进行切换显示。
SPI通信详解-学习笔记
qq_45059758的博客
11-04 524
SPI通信
SAP ABAP开发学习——接口中间件（PI）
m0_64077397的博客
11-04 212
左侧的红圈表示没有被生成。
RL学习笔记-表格型方法
m0_63213284的博客
11-02 441
参考资料：蘑菇书；《世界冠军带你从零实践强化学习》B站课程。
从零学习大模型（十四）-----量化（一）
最新发布
red_guy的博客
11-05 566
量化（Quantization）是一种在计算机科学和深度学习中广泛应用的技术，其基本目标是通过减少模型中数值表示的位宽来降低计算和存储成本。简单来说，量化就是将高精度（通常是浮点数）转换为低精度（通常是定点数）表示，同时尽量保持模型的性能和准确性。量化通常用于深度学习模型（尤其是大模型）中，以减小模型的存储空间和提高推理速度。量化不仅可以减少模型的内存占用，还能提高硬件的计算效率，尤其是在低功耗设备（如移动端、嵌入式系统、边缘计算设备）上。范围选择：确定量化数据的最小值和最大值，从而决定数据的量化范围。
嵌入式Linux入门具备：C语言基础与基本驱动学习（2）：Linux GIibc IO基础
charlie114514191的博客
11-05 662
对于标准 I/O 库函数来说，它们的操作是围绕 FILE 指针进行的，当使用标准 I/O 库函数打开或创建一个文件时，会返回一个指向 FILE 类型对象的指针（FILE *） ，使用该 FILE 指针与被打开或创建的文件相关联，然后该 FILE 指针就用于后续的标准 I/O 操作（使用标准 I/O 库函数进行 I/O 操作），所以由此可知，FILE 指针的作用相当于文件描述符，只不过 FILE 指针用于标准 I/O 库函数中、而文件描述符则用于文件I/O 系统调用中。函数调用成功返回写入到文件中的字符数；
2024运维学习路线图
分享知识、传递善意
11-03 868
了解Linux操作系统的历史、特点、发行版等基础知识。
转 变分推断(variational inference)学习笔记(1)——概念介绍
07-13
### 回答1： 变分推断（variational inference）是一种用于在概率模型中近似推断潜在变量的方法。在概率模型中，我们通常有观测数据和潜在变量两个部分。我们希望通过观测数据集来估计潜在变量的后验分布。然而，由于计算复杂度的限制，我们无法直接计算后验分布。 变分推断通过近似后验分布为一个简化的分布来解决这个问题。它会选择一个与真实后验分布相似的分布族，然后通过最小化这个分布与真实后验分布之间的差异来得到一个最佳的近似分布。这个问题可以转化为一个最优化问题，通常使用变分推断的一个常用方法是最大化证据下界（evidence lower bound，ELBO）来近似后验分布。 变分推断的一个重要特点是可以处理大规模和复杂的概率模型。由于近似分布是通过简化的分布族来表示的，而不是直接计算后验分布，所以它可以减少计算复杂度。此外，变分推断还可以通过引入额外的约束或假设来进一步简化近似分布，提高计算效率。 然而，变分推断也有一些缺点。因为近似分布是通过简化的分布族来表示的，所以它会引入一定的偏差。此外，变分推断的结果依赖于所选择的分布族，如果分布族选择不合适，可能会导致较差的近似结果。 总之，变分推断是一种用于近似计算概率模型中后验分布的方法，通过选择一个与真实后验分布相似的分布族，并最小化与真实后验分布之间的差异来得到一个最佳的近似分布。它具有处理大规模和复杂模型的能力，但也有一些局限性。 ### 回答2： 转变分推断（variational inference）是一种用于近似求解复杂概率模型的方法。它的核心思想是将复杂的后验分布近似为一个简单的分布，通过最小化这两个分布之间的差异来求解模型的参数。 变分推断通过引入一个简单分布（称为变分分布）来近似复杂的后验分布。这个简单分布通常属于某个已知分布族，例如高斯分布或指数分布。变分推断通过最小化变分分布和真实后验分布之间的差异，来找到最优的参数。 为了实现这一点，变分推断使用了KL散度（Kullback-Leibler divergence）这一概念。KL散度是用来衡量两个概率分布之间的差异的指标。通过最小化变分分布与真实后验分布之间的KL散度，我们可以找到一个最优的变分分布来近似真实后验分布。 变分推断的步骤通常包括以下几个步骤： 1. 定义变分分布：选择一个简单的分布族作为变分分布，例如高斯分布。 2. 定义目标函数：根据KL散度的定义，定义一个目标函数，通常包括模型的似然函数和变分分布的熵。 3. 最优化：使用数值方法（例如梯度下降法）最小化目标函数，找到最优的变分参数。 4. 近似求解：通过最优的变分参数，得到近似的后验分布，并用于模型的推断或预测。 变分推断的优点是可以通过选择合适的变分分布，来控制近似精度和计算复杂度之间的平衡。它可以应用于各种概率模型和机器学习任务，例如潜在变量模型、深度学习和无监督学习等。 总而言之，转变分推断是一种用于近似求解复杂概率模型的方法，通过近似后验分布来求解模型的参数。它通过最小化变分分布与真实后验分布之间的差异来实现近似求解。这个方法可以应用于各种概率模型和机器学习任务，具有广泛的应用价值。 ### 回答3： 变分推断（Variational Inference）是一种用于概率模型中的近似推断方法。它的目标是通过近似的方式来近似估计概率分布中的某些未知参数或隐变量。 在概率模型中，我们通常希望得到后验概率分布，即给定观测数据的情况下，未知参数或隐变量的概率分布。然而，由于计算复杂性的原因，我们往往无法直接计算后验分布。 变分推断通过引入一个称为变分分布的简化分布，将原问题转化为一个优化问题。具体来说，我们假设变分分布属于某个分布族，并通过优化一个目标函数，使得变分分布尽可能接近真实的后验分布。 目标函数通常使用卡尔贝克-勒勒散度（Kullback-Leibler divergence）来度量变分分布与真实后验分布之间的差异。通过最小化这个目标函数，我们可以找到最优的近似分布。在这个优化问题中，我们通常将问题转化为一个变分推断问题，其中我们需要优化关于变分分布的参数。 变分推断的一个优点是可以应用于各种类型的概率模型，无论是具有连续随机变量还是离散变量。此外，变分推断还可以解决复杂的后验推断问题，如变分贝叶斯方法和逐步变分推断等。 然而，变分推断也存在一些限制。例如，它通常要求选择一个合适的变分分布族，并且该族必须在计算上可以处理。此外，变分推断还可能导致近似误差，因为我们将问题简化为一个优化问题，可能会导致对真实后验分布的一些信息丢失。 总而言之，变分推断是一种强大的近似推断方法，可以用于概率模型中的参数和隐变量的估计。它通过引入变分分布来近似计算复杂的后验概率分布，从而转化为一个优化问题。然而，需要注意选择合适的变分分布族和可能的近似误差。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值