【阅读笔记】Adversarially Regularized Autoencoders

最新推荐文章于 2024-09-15 06:45:00 发布

SrdLaplaceGua

最新推荐文章于 2024-09-15 06:45:00 发布

阅读量2.1k

点赞数 1

分类专栏：机器学习读书笔记实用技巧文章标签： ARAE 离散GAN GAN 生成对抗模型 deep learning

本文链接：https://blog.csdn.net/SrdLaplace/article/details/87933823

版权

本文介绍了Adversarially Regularized Autoencoders（ARAE），这是一种用于训练离散结构深层潜在变量模型的灵活方法。ARAE结合了离散自编码器和GAN正则化的潜在表示，解决了在连续样本生成上的挑战，特别是对于文本和离散图像等离散数据。通过对抗性学习，ARAE优化了编码器、解码器和生成器的性能，以创建更平滑的离散编码空间。

摘要由CSDN通过智能技术生成

Adversarially Regularized Autoencoders

Kim Y, Zhang K, Rush A M, et al. Adversarially regularized autoencoders[J]. arXiv preprint arXiv:1706.04223, 2017.
GitHub: https://github.com/jakezhaojb/ARAE
adversarially regularized autoencoder (ARAE)

Abstract

Deep latent variable models （也就是VAE、GAN这种由随机变量作种子的模型）比较方便生成连续的样本。当把他们运用在例如文本、离散图片等离散结构上时，将会遇到很大挑战。本文提出了一个灵活的方法来训练 deep latent variable models of discrete structures。

Background and Notation

Discrete Autoencoder

就是把离散序列 encoder 之后再 decoder，通过 softmax 来进行离散
$L_{rec}(\phi,\psi)=-log~p_{\psi}(x|enc_{\phi}(x))$

$\hat{x}=argmax_{x}~p_{\psi}(x|enc_{\phi}(x))$

编码器和解码器是一个 problem-specific（特定的问题），一般可以选择 RNN 作为解码器和编码器。

Generative Adversarial Networks

WGAN：
$min_{\theta}max_{w\in W}E_{z\sim p_r}[f_w(z)]-E_{\tilde{z}\sim p_z}[f_w(\tilde{z})]$

weight-clipping $w=[-\epsilon,\epsilon]$

Adversarially Regularized Autoencoder

ARAE combines a discrete autoencoder with a GAN-regularized latent representation. 模型如下图所示，学习离散空间 $P_{\psi}$ 。直觉上这种方法用一个更灵活的先验分布提供了一个更平滑的离散编码空间。
在这里插入图片描述