Ladder VAE

在IWAE中仅仅考虑了两层的隐藏层，但是随着层数多了，高层很多都训练不好，因此提出了LVAE。首先比较下模型与IWAE的区别。各层

建模如下$$\begin{array}{rl}{p}_{\theta }(\mathbf{z})& =p_{\theta }\left({\mathbf{z}}_L\right)\prod _{i=1}^{L-1}{p}_{\theta }\left({\mathbf{z}}_i|{\mathbf{z}}_{i+1}\right)\\ p_{\theta }\left({\mathbf{z}}_i|{\mathbf{z}}_{i+1}\right)& =\mathcal{N}\left(\mathbf{z}|{\mu }_{p,i}\left({\mathbf{z}}_{i+1}\right),{\sigma }_{p,i}^2\left({\mathbf{z}}_{i+1}\right)\right),p_{\theta }\left({\mathbf{z}}_L\right)=\mathcal{N}\left({\mathbf{z}}_L|0,\mathbf{I}\right)\\ p_{\theta }\left(\mathbf{x}|{\mathbf{z}}_1\right)& =\mathcal{N}\left(\mathbf{x}|{\mu }_{p,0}\left({\mathbf{z}}_1\right),{\sigma }_{p,0}^2\left({\mathbf{z}}_1\right)\right)\text{ or }{P}_{\theta }\left(\mathbf{x}|{\mathbf{z}}_1\right)=\mathcal{B}\left(\mathbf{x}|{\mu }_{p,0}\left({\mathbf{z}}_1\right)\right)\end{array}$$一般的VAE的inference部分建模如下$$\begin{array}{rl}{q}_{\varphi }(\mathbf{z}|\mathbf{x})& =q_{\varphi }\left({\mathbf{z}}_1|\mathbf{x}\right)\prod _{i=2}^L{q}_{\varphi }\left({\mathbf{z}}_i|{\mathbf{z}}_{i-1}\right)\\ q_{\varphi }\left({\mathbf{z}}_1|\mathbf{x}\right)& =\mathcal{N}\left({\mathbf{z}}_1|{\mu }_{q,1}(\mathbf{x}),{\sigma }_{q,1}^2(\mathbf{x})\right)\\ q_{\varphi }\left({\mathbf{z}}_i|{\mathbf{z}}_{i-1}\right)& =\mathcal{N}\left({\mathbf{z}}_i|{\mu }_{q,i}\left({\mathbf{z}}_{i-1}\right),{\sigma }_{q,i}^2\left({\mathbf{z}}_{i-1}\right)\right),i=2\dots L\end{array}$$但是这样训练会出现问题，难以优化，因此本文提出一个新的inference模型。首先用正常的神经网络得到$$\begin{array}{rl}{\mathbf{d}}_n& =\mathrm{MLP}\left({\mathbf{d}}_{n-1}\right)\\ {\hat{\mu }}_{q,i}& =\mathrm{Linear}\left({\mathbf{d}}_i\right),i=1\dots L\\ {\hat{\sigma }}_{q,i}^2& =\mathrm{Softplus}\left(\mathrm{Linear}\left({\mathbf{d}}_i\right)\right),i=1\dots L\end{array}$$其中${\mathbf{d}}_0=\mathbf{x}$。然后$$\begin{array}{c}{q}_{\varphi }(\mathbf{z}|\mathbf{x})=q_{\varphi }\left({\mathbf{z}}_L|\mathbf{x}\right){\prod }_{i=1}^{L-1}{q}_{\varphi }\left({\mathbf{z}}_i|{\mathbf{z}}_{i+1},\mathbf{x}\right)\\ {\sigma }_{q,i}=\frac{1}{{\hat{\sigma }}_{q,i}^{-2}+{\sigma }_{p,i}^{-2}}\\ {\mu }_{q,i}=\frac{{\hat{\mu }}_{q,i}{\hat{\sigma }}_{q,i}^{-2}+{\mu }_{p,i}{\sigma }_{p,i}^{-2}}{{\hat{\sigma }}_{q,i}^{-2}+{\sigma }_{p,i}^{-2}}\\ q_{\varphi }\left({\mathbf{z}}_i|\cdot \right)=\mathcal{N}\left({\mathbf{z}}_i|{\mu }_{q,i},{\sigma }_{q,i}^2\right)\end{array}$$其中${\mu }_{q,L}={\hat{\mu }}_{q,L}$，${\sigma }_{q,L}^2={\hat{\sigma }}_{q,L}^2$。可以看出${\sigma }_{q,i},{\mu }_{q,i}$由生成模型（“先验”）的${\sigma }_{p,i},{\mu }_{p,i}$和（“似然”）${\hat{\sigma }}_{q,i},{\hat{\mu }}_{q,i}$组成“后验”。
随着网络的加深，有些隐变量会变得uninformative，这种uninformative是从一开始就变成这样，一旦uninformative就会一直uninformative，随着训练的进行不会再激活它们。本文中先以standard deterministic auto-encoder进行参数初始化，然后$$\mathcal{L}(\theta ,\varphi ;\mathbf{x}{)}_{WU}=-\beta KL\left(q_{\varphi }(z|x)\Vert p_{\theta }(\mathbf{z})\right)+E_{q_{\varphi }(z|x)}\left[\log p_{\theta }(\mathbf{x}|\mathbf{z})\right]$$其中$\beta$为前$N_t$线性从0增加到1，这种方式称为warm-up（WU）。

从上面的效果可以看出，本文的方法能够得到更多有意义的神经元。不仅如此，可视化效果可以看出，LVAE能够学习到结构性的高层特征