变分自编码器（VAE）相关证明

生成模型通过建模变量的联合分布，学习样本的生成过程。判别模型则是建模变量之间的映射关系。生成模型的优势在于：

• 生成模型是对物理规律深度理解，模型的可解释性高：我们对变量的生产过程提出假设，并通过观测数据的检测，最总接受或则推翻我们的假设，达到对世界运行规律的深度理解。
• 生成模型对变量间关系提出的假设，一旦假设被检验接受，模型揭示了变量间的因果关系：因果关系比相关关系的泛化能力更强，在不满足独立同分布条件下任然可以应用

VAE 模型便是这样的生成模型，VAE模型的优化目标即是所谓的ELBO Loss；这里对ELBO目标的推导如下，同时揭示ELBO与极大似然估计的关系：

$$log{p}_{\theta }(x)=E_{x\sim q(z|x)}[log{p}_{\theta }(x)]$$

$$=E_{x\sim q(z|x)}[log(\frac{p_{\theta }(x,z)}{p_{\theta }(z|x)})]$$

$$=E_{x\sim q(z|x)}[log(\frac{p_{\theta }(x,z)q_{\varphi }(z|x)}{q_{\varphi }(z|x)p_{\theta }(z|x)})]$$

$$=E_{x\sim q(z|x)}[log(\frac{p_{\theta }(x,z)}{q_{\varphi }(z|x)})]+E_{x\sim q(z|x)}[log(\frac{q_{\varphi }(z|x)}{p_{\theta }(z|x)})]$$

$$=E_{x\sim q(z|x)}[log(p_{\theta }(x,z))-log(q_{\varphi }(z|x))]+D_{KL}(q_{\varphi }(z|x)||p_{\theta }(z|x))$$

$${\mathcal{L}}_{\theta ,\varphi }(x)\triangleq E_{x\sim q(z|x)}[log(p_{\theta }(x,z))-log(q_{\varphi }(z|x))]$$

$$=log{p}_{\theta }(x)-D_{KL}(q_{\varphi }(z|x)||p_{\theta }(z|x))$$

$$\le log{p}_{\theta }(x)$$

因此最大化 ELBO ${\mathcal{L}}_{\theta ,\varphi }(x)$ 等价于样本的极大似然估计 $p_{\theta }(x)$的下界。

$q_{\varphi }(z|x)$模型的选择同城需要满足两个条件：

1、便于计算

2、便于采样

这两点限制了$q_{\varphi }(z|x)$的选择范围，满足这两点的一个常见模型是假设后验分布为各向独立的多维高斯分布：

$$(\mu ,log\sigma )=NeuralNet(x)$$

$$z\sim \mathcal{N}(\mu ,\sigma )$$

$$log{q}_{\varphi }(z|x)=log\mathcal{N}(z;\mu ,\sigma )$$

为了实现对$\mu ,\sigma$的梯度传导，以上模型通过重参数化技巧实现为：

$$(\mu ,log\sigma )=NeuralNet(x)$$

$$ϵ\sim \mathcal{N}(0,I)$$

$z=f(ϵ,\mu ,\sigma )=mu+\sigma \odot ϵ$

$$log{q}_{\varphi }(z|x)=log\mathcal{N}(z;\mu ,\sigma )$$

各向独立的假设是比较强的假设，限制了模型的假设空间；在满足以上两点要求的前提下，为了提升模型的假设空间，一类做法是提升函数$f(ϵ)$的表达能力，并加入多层嵌套：

$$z=f(ϵ)=f_n(...f_2(f_1(ϵ)))$$

以往的研究者们提出了多种函数$f$，但是这类做法遇到的一个问题是$log(q_{\varphi }(z|x))$的计算，当$q_{\varphi }(z|x)$分布比较复杂时，$z$ 的分布已经不是高斯分布。这里给出 $log{q}_{\varphi }(z|x)$ 的计算方法，并通过证明揭示函数 $f$ 的设计原则：

$$log{q}_{\varphi }(z|x)=logp(ϵ)-log|det(\frac{\partial z}{\partial ϵ})|$$

其中

$$ϵ\sim \mathcal{N}(0,I)$$

$$z=f(ϵ,x,\varphi )$$

这里以一维随机变量为例，公式证明如下：

$$F_Z(z|x)\triangleq P(Z<z|x)$$

$$=P(f(\mathrm{E},x,\varphi )<z|x)$$

$$=P(\mathrm{E}<f^{-1}(z)|x)$$

$$=P(\mathrm{E}<f^{-1}(z))$$

$$=F_{\mathrm{E}}(f^{-1}(z))$$

$$={\int }_{-\infty }^{f^{-1}(z)}p(ϵ)dϵ$$

$$q(z|x)=\frac{d{F}_Z(z|x)}{dz}$$

$$=\frac{d{\int }_{-\infty }^{f^{-1}(z)}p(ϵ)dϵ}{dz}$$

$$=\frac{d{\int }_{-\infty }^{f^{-1}(z)}p(f^{-1}(z))d{f}^{-1}(z)}{dz}$$

$$=\frac{d{\int }_{-\infty }^{f^{-1}(z)}p(f^{-1}(z)}{d{f}^{-1}(z)}\frac{d{f}^{-1}(z)}{dz}$$

$$=\frac{{\int }_{-\infty }^{ϵ}p(ϵ)dϵ}{dϵ}\frac{dϵ}{dz}$$

$$=p(ϵ)\ast \frac{dϵ}{dz}$$

以上证明我吗假定函数$f(ϵ,x,\varphi )$递增函数，实际 $f$ 为任何可逆函数时，类似方式可证明：

$$q(z|x)=p(ϵ)|\frac{dϵ}{dz}|$$

$$logq(z|x)=logp(ϵ)-log(|\frac{dz}{dϵ}|)$$

对于多维随机变量，类似的可以证明：

$$logq(\mathbf{z}|\mathbf{x})=logp(ϵ)-log|det(\frac{\partial \mathbf{z}}{\partial ϵ})|$$