机器学习理论基础学习11--- 变分推断

最新推荐文章于 2024-02-10 09:34:45 发布

dili8870

最新推荐文章于 2024-02-10 09:34:45 发布

阅读量360

点赞数

文章标签：人工智能

原文链接：http://www.cnblogs.com/nxf-rabbit75/p/10382266.html

版权

一、背景（为什么要有变分推断？）

简单来说便是需要根据已有数据推断需要的分布P；当P不容易表达，不能直接求解时，可以尝试用变分推断的方法。即，寻找容易表达和求解的分布Q，当Q和P的差距很小的时候，Q就可以作为P的近似分布代替P。

二、公式推导

三、总结

变分推断是利用已知分布通过调整使其符合我们需要却难以用公式表达的分布。由ELOB和KL散度的关系，通过得到ELOB的上界间接获得散度

　　　　 $KL(Q(z)||P(z|x))$

对于ELOB的上界，又可以通过转化为相关的散度求解

　　　　 $KL(\Bbb{E}_{i\neq j}[\ln{P(x,z)}]||Q_j(z_j))$

$\begin{align*} KL(\Bbb{E}_{i\neq j}[\ln{P(x,z)}]||Q_j(z_j))\to ELOB\to KL(Q(z)||P(z|x)) \to 调整后的Q(z) \end{align*}$
　　

用一张图来表示Q分布的变化:

参考文献：

【1】Variational Inference 变分推断

【2】机器学习-白板推导系列-变分推断（Variational Inference）

转载于:https://www.cnblogs.com/nxf-rabbit75/p/10382266.html

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。