经典回顾：变分自编码器

前言

想要理解什么是变分自编码器，需要先理解什么是变分、变分贝叶斯、变分下界、和将重参数化引入变分下界这四个过程。

变分

可以直观理解为：当一个分布p不容易计算时，我们将一个容易计算的分布作为这个不好计算的分布的近似。

变分贝叶斯

可以直观理解为：变分中不容易计算的分布p为后验分布的情况。

变分下界

$$\begin{array}{rl}log{p}_{\theta }(x^i)& ={\mathbb{E}}_{z\sim q_{\varphi }(z|x)}[log{p}_{\theta }(x^i)]\\ & ={\mathbb{E}}_{z\sim q_{\varphi }(z|x)}[log\frac{p_{\theta }(z,x^i)}{p_{\theta }(z|x^i)}]\\ & ={\mathbb{E}}_{z\sim q_{\varphi }(z|x)}[log\frac{p_{\theta }(z,x^i)}{q_{\varphi }(z|x^i)}]+{\mathbb{E}}_{z\sim q_{\varphi }(z|x)}[log\frac{q_{\varphi }(z,x^i)}{p_{\theta }(z|x^i)}]\\ & ={\mathbb{E}}_{z\sim q_{\varphi }(z|x)}[log\frac{p_{\theta }(z,x^i)}{q_{\varphi }(z|x^i)}]+D_{kl}(q_{\varphi }(z,x^i)||p_{\theta }(z|x^i))\\ & =\mathcal{L}+D_{kl}(q_{\varphi }(z,x^i)||p_{\theta }(z|x^i))\\ & \ge \end{array}$$