【阅读笔记】Adversarially Regularized Autoencoders

Adversarially Regularized Autoencoders

Kim Y, Zhang K, Rush A M, et al. Adversarially regularized autoencoders[J]. arXiv preprint arXiv:1706.04223, 2017.
GitHub: https://github.com/jakezhaojb/ARAE
adversarially regularized autoencoder (ARAE)

Abstract

Deep latent variable models （也就是VAE、GAN这种由随机变量作种子的模型）比较方便生成连续的样本。当把他们运用在例如文本、离散图片等离散结构上时，将会遇到很大挑战。本文提出了一个灵活的方法来训练 deep latent variable models of discrete structures。

Background and Notation

Discrete Autoencoder

就是把离散序列 encoder 之后再 decoder，通过 softmax 来进行离散
$$L_{rec}(\varphi ,\psi )=-log{p}_{\psi }(x|en{c}_{\varphi }(x))$$

$$\hat{x}=argma{x}_x{p}_{\psi }(x|en{c}_{\varphi }(x))$$

编码器和解码器是一个 problem-specific（特定的问题），一般可以选择 RNN 作为解码器和编码器。

Generative Adversarial Networks

WGAN：
$$mi{n}_{\theta }ma{x}_{w\in W}{E}_{z\sim p_r}[f_w(z)]-E_{\tilde{z}\sim p_z}[f_w(\tilde{z})]$$

weight-clipping $w=[-ϵ,ϵ]$

Adversarially Regularized Autoencoder

ARAE combines a discrete autoencoder with a GAN-regularized latent representation. 模型如下图所示，学习离散空间$P_{\psi }$。直觉上这种方法用一个更灵活的先验分布提供了一个更平滑的离散编码空间。

模型包含 a discrete autoencoder regularized with a prior distribution,
$$mi{n}_{\varphi ,\psi }{L}_{rec}(\varphi ,\psi )+{\lambda }^{(1)}W(P_Q,P_z)$$

其中$W$表示离散编码空间$P_Q$（就是$x$经过编码后 e n c ϕ ( x )