Variational inference and ELBO笔记

最新推荐文章于 2024-09-01 23:06:50 发布

bill bill

最新推荐文章于 2024-09-01 23:06:50 发布

阅读量129

点赞数

文章标签：笔记

本文链接：https://blog.csdn.net/weixin_45895230/article/details/131632664

版权

在这里插入图片描述

Choose a tractable parametric distribution $q_\phi(z)$ with parameter $\phi$ . The distribution will be used to approximate p(z|x).
i. 举个栗子：
我们设置 $q_\phi(z) = \N(z | \mu, \Sigma)$ where 我们设置 $\phi = (\mu, \Sigma)$ . 我们尝试选择一个 $q_\phi(z)$ 来近似其正确的posterior $p (z ∣ x)$
我们需要一些方法来近似p(z | x) 以及 $q_\phi$ , 我们常使用KL divergence
使用一些optimization的方法来使得这个值更小

在这里插入图片描述

ELBO
在这里插入图片描述

在这里插入图片描述

我们需要对 $q_{\phi}(z)$ 来采样来预测ELBO的gradient。
我们有如下式子：
如果我们尝试通过gradient这个方法来算的化，我们需要计算一个unbiased estimate of $\frac{\delta L(\phi)}{\delta \phi}$
我们改变这个取样的过程为两个部分：
1. 对一个随机变量进行取样，这个随机变量有固定数量的或者没有参数，比如一个uniform distribution或者 standard normal distribution
2. compute z as a function of $\phi$ and $\epsilon$ , such that
  
  进行reparameterisation 后，变成如右图的情况

这里我们只有 epsilon的值是随机的，g()的值不是随机的，g关于 $\phi$ 以及x都可以进行 gradient descent/ bp的操作。

在这里插入图片描述

我们不尝试计算全部的gradient，我们使用monte carlo 来进行estimation

在这里插入图片描述

关注