变分推断-学习笔记

假设在贝叶斯模型中,x={x_1, x_2,...,x_n}为一组观测数据,z={z_1,z_2,...,z_n}为一组隐变量(参数),给出先验p(z),计算后验p(z|x),根据贝叶斯公式,有:

但是在实际应用中,可能由于积分没有闭式解,或者是指数级的计算复杂度等原因,导致计算上面公式中的积分往往是不可行的。

变分推断就是用来解决这个问题的。

既然无法直接求得后验概率密度p(z∣x),那我们可以寻找一个简单的分布q*(z)来近似后验概率密度p(z|x),这就是变分推断的思想。借此,我们将推断问题转换为一个泛函优化问题。

 

KL = -ELBO + log p(x) 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值