IWAE

IMPORTANCE WEIGHTED AUTOENCODERS

这篇文章主要是提出一种更紧的$ELBO$$${\mathcal{L}}_k(\mathbf{x})={\mathbb{E}}_{{\mathbf{h}}_1,\dots ,{\mathbf{h}}_k\sim q(\mathbf{h}|\mathbf{x})}\left[\log \frac{1}{k}\sum _{i=1}^k\frac{p\left(\mathbf{x},{\mathbf{h}}_i\right)}{q\left({\mathbf{h}}_i|\mathbf{x}\right)}\right]$$其中$w_i=p\left(\mathbf{x},{\mathbf{h}}_i\right)/q\left({\mathbf{h}}_i|\mathbf{x}\right)$，可以证明$${\mathcal{L}}_k=\mathbb{E}\left[\log \frac{1}{k}\sum _{i=1}^k{w}_i\right]\le \log \mathbb{E}\left[\frac{1}{k}\sum _{i=1}^k{w}_i\right]=\log p(\mathbf{x})$$当$k=1$时，就等价为一般VAE的$ELBO$。可以发现随着$k$的增加，$ELBO$更紧$$\log p(\mathbf{x})\ge {\mathcal{L}}_{k+1}\ge {\mathcal{L}}_k$$这个同样是一个无偏估计。同样可以使用重参数，其梯度估计如下$$\begin{array}{rl}{\nabla }_{\mathbf{\theta }}{\mathcal{L}}_k(\mathbf{x})={\nabla }_{\mathbf{\theta }}{\mathbb{E}}_{{\mathbf{h}}_1,\dots ,{\mathbf{h}}_k}\left[\log \frac{1}{k}\sum _{i=1}^k{w}_i\right]& ={\nabla }_{\mathbf{\theta }}{\mathbb{E}}_{{\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_k}\left[\log \frac{1}{k}\sum _{i=1}^{k}w\left(\mathbf{x},\mathbf{h}\left(\mathbf{x},{\mathbf{ϵ}}_i,\mathbf{\theta }\right),\mathbf{\theta }\right)\right]\\ & ={\mathbb{E}}_{{\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_k}\left[{\nabla }_{\mathbf{\theta }}\log \frac{1}{k}\sum _{i=1}^{k}w\left(\mathbf{x},\mathbf{h}\left(\mathbf{x},{\mathbf{ϵ}}_i,\mathbf{\theta }\right),\mathbf{\theta }\right)\right]\\ & ={\mathbb{E}}_{{\mathbf{ϵ}}_1,\dots ,{\mathbf{ϵ}}_k}\left[\sum _{i=1}^k{\tilde{w}}_i{\nabla }_{\mathbf{\theta }}\log w\left(\mathbf{x},\mathbf{h}\left(\mathbf{x},{\mathbf{ϵ}}_i,\mathbf{\theta }\right),\mathbf{\theta }\right)\right]\end{array}$$其中$\widetilde{w_i}=w_i/{\sum }_{i=1}^k{w}_i$。利用MC估计梯度$$\sum _{i=1}^k\widetilde{w_i}{\nabla }_{\mathbf{\theta }}\log w\left(\mathbf{x},\mathbf{h}\left({\mathbf{ϵ}}_i,\mathbf{x},\mathbf{\theta }\right),\mathbf{\theta }\right)$$IWAE采用的方法为REINFORCE-like，而不能像VAE那样对$KL$部分进行解析分析。
在这篇文章中，引入了一个多层的隐藏变量，即为$$\begin{array}{c}p(\mathbf{x}|\mathbf{\theta })={\sum }_{{\mathbf{z}}^1,\dots ,{\mathbf{z}}^L}p\left({\mathbf{z}}^L|\mathbf{\theta }\right)p\left({\mathbf{z}}^{L-1}|{\mathbf{z}}^L,\mathbf{\theta }\right)\cdots p\left(\mathbf{x}|{\mathbf{z}}^1,\mathbf{\theta }\right)\\ q(\mathbf{z}|\mathbf{x})=q\left({\mathbf{z}}^1|\mathbf{x}\right)q\left({\mathbf{z}}^2|{\mathbf{z}}^1\right)\cdots q\left({\mathbf{z}}^L|{\mathbf{z}}^{L-1}\right)\end{array}$$

这个模型在之后的Ladder-VAE会再次提到。