AutoEncoder学习记录

1.基本结构

AutoEncoder 属于神经网络范畴，AutoEncoder 重点关注的是 Hidden Layer，而它通常只有一层 Hidden Layer。

AutoEncoder包含encoder与decoder两部分：通过encoder将输入x映射到特征空间z，再通过decoder将抽象表示z映射回原始空间，通常记作x’，是对样本的重构。
对于基于神经网络的AutoEncoder模型来说，则是encoder部分通过逐层降低神经元个数来对数据进行压缩；decoder部分基于数据的抽象表示逐层提升神经元数量，最终实现对输入样本的重构。[1]

2.Wasserstein Auto Encoder(WAE)

Wasserstein 自编码器由谷歌大脑 Ilya Tolstikhin 等人提出，结合了 VAE 的优点与 GAN 的结构特性，是一种用于构建数据分布生成模型的新算法。WAE 将模型分布与目标分布之间的 Wasserstein 距离的惩罚形式最小化，导出了的正则化矩阵鼓励编码的训练分布与之前的分布相匹配。

VAE 和 WAE 最小化两项：重构成本、惩罚 PZ 和编码器 Q 引起的分布之间的差异的正则矩阵。对 PX 的不同输入样本 x，VAE 使 Q(Z|X = x) 与 PZ 匹配。如图（a），其中每个红色的球与 PZ（图中的白色图形）匹配。红色的球开始交叉，这也是问题开始重建的时候。相反，如图（b），WAE 使连续混合（continuous mixture）QZ := ∫Q(Z|X)dPX 与 PZ（图中绿色的球）匹配。因此，不同样本的隐藏代码都有机会远离对方，从而更好地重建。[3]

---

参考文章
[1] https://zhuanlan.zhihu.com/p/68903857
[2] https://en.wikipedia.org/wiki/Autoencoder
[3] https://cloud.tencent.com/developer/article/1119688