ELBO公式推导 (variational inference)

最新推荐文章于 2023-12-18 21:37:45 发布

ltz0120

最新推荐文章于 2023-12-18 21:37:45 发布

阅读量9.2k

点赞数 10

分类专栏：机器学习小屋文章标签：机器学习深度学习算法

本文链接：https://blog.csdn.net/ltz0120/article/details/111032478

版权

机器学习小屋专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Variational inference （变分推论）是为了解决当真实后验分布 $p_\theta(z|x) = \frac{p_\theta(x|z)p_\theta(z)}{p_\theta(x)}$ 难以计算的情况下（通常是因为 $p_\theta(x) = \int_z p(x|z)p(z)dz$ 无法直接计算），用一个方便学习的分布 $q_\phi(z|x)$ 来近似真实后验分布 $p_\theta(z|x)$ .

因此对x的log-likelihood function可以写成 $\text{log } p_\theta(x) = D_{KL}(q_\phi(z|x) || p_\theta(z|x)) + \mathcal{L}(\theta,\phi ; x)$ . 其中 $D_{KL}(q_\phi(z|x) || p_\theta(z|x))$ 是让学到的分布 $q_\phi(z|x)$ 去接近真实后验分布 $p_\theta(z|x)$ ， $\mathcal{L}(\theta,\phi ; x)$ 是variational lower bound，也叫evidence lower bound (ELBO).

下面来计算 $\mathcal{L}(\theta,\phi ; x)$ ：

$\mathcal{L}(\theta,\phi ; x) = \text{log } p_\theta(x) - D_{KL}(q_\phi(z|x) || p_\theta(z|x))$

$= \int q_\phi (z|x) \text{log } p_\theta(x) dz - \int q_\phi(z|x) \text{ log } \frac{q_\phi(z|x)}{p_\theta(z|x) }dz$

$= \int q_\phi (z|x) \text{log } p_\theta(x) - q_\phi(z|x) \text{ log } q_\phi(z|x) + q_\phi(z|x) \text{ log } p_\theta(z|x) dz$

$= \int - q_\phi(z|x) \text{ log } q_\phi(z|x) + q_\phi (z|x) (\text{log } p_\theta(x)+ \text{ log } p_\theta(z|x)) dz$

$= \int - q_\phi(z|x) \text{ log } q_\phi(z|x) + q_\phi (z|x) (\text{log } p_\theta(x,z)) dz$

$= \mathbb{E}_{q_\phi(z|x)}[-\text{log }q_{\phi}(z|x) + \text{log }p_\theta(x,z)]$

以上为一个简单的ELBO形式

再继续往下推：

$\mathcal{L}(\theta,\phi ; x) = \mathbb{E}_{q_\phi(z|x)}[-\text{log }q_{\phi}(z|x) + \text{log }(p_\theta(x|z)p_\theta(z))]$

$\mathcal{L}(\theta,\phi ; x) = \mathbb{E}_{q_\phi(z|x)}[\text{log } \frac{p_\theta(z)}{q_{\phi}(z|x) }+ \text{log }p_\theta(x|z)]$

$\mathcal{L}(\theta,\phi ; x) = \int q_\phi(z|x)\text{log } \frac{p_\theta(z)}{q_{\phi}(z|x) } dz+ \mathbb{E}_{q_\phi(z|x)}[\text{log }p_\theta(x|z)]$

$\mathcal{L}(\theta,\phi ; x) = -\text{KL }[p_\theta(z) || q_{\phi}(z|x)]+ \mathbb{E}_{q_\phi(z|x)}[\text{log }p_\theta(x|z)]$

以上就是我们熟知的ELBO的形式，等式右边第一项是预设的prior与学到的z的分布的负KL-divergence，第二项是对x的log-likelihood。在VAE常假设 $p_\theta(z)\sim \mathcal{N}(0,I^d)$ 。

ltz0120

关注

10
点赞
踩
40

收藏

觉得还不错? 一键收藏
0
评论
ELBO公式推导 (variational inference)

Variational inference （变分推论）是为了解决当真实后验分布难以计算的情况下（通常是因为无法直接计算），用一个方便学习的分布来近似真实后验分布.因此对x的log-likelihood function可以写成. 其中是让学到的分布去接近真实后验分布，是variational lower bound，也叫evidence lower bound (ELBO).下面来计算：以上为一个简单的ELBO形式再继续往下推：...
复制链接

扫一扫