论文解读：Recent Advances in Autoencoder-Based Representation Learning(Regularization-based methods)

写在前面

这篇文章讲的是基于自编码器的表示学习的综述文章，这篇博客主要介绍基于正则化的方法(Regularization-based methods)去实现disentanglement

Abstract

翻译：使用半监督或者无监督方法进行表示学习是人工智能领域的一个关键挑战。我们对过去一些基于自编码器的表示学习进行深度的回顾。我们相信元先验对于一些下游任务非常有用，例如disentanglement或者特征的层次组织学习。具体的，我们介绍三种主要的机制去实现这些下游任务：(1)正则化(近似或者聚合)后验分布…（后面不是这篇博客关注的内容）

下游/上游任务：上游任务指的是理论研究，下游任务指的是应用

元先验：这是一个很泛的概念指的是能够挖掘出下游任务的一种先验，下游任务可以是目标检测，文本分析等等，在这里disentanglement可以理解为一种策略，是表示学习的一种策略，而学习到这种策略后可以更好的服务于后续的下游任务

中间略去1-2节，因为不是重点

3. Regularization-based methods

上面是一些对于不同正则化项选择的一些模型

3.1 Unsupervised methods targeting disentanglement and independence

翻译：Distanglement被Bengio看作是一个比较重要的元先验问题。换句话说，假设数据是由几个统计上独立的因素产生的，揭示这些因素对于大量的下游任务(downstream tasks)应该是极其有用的。

最近在Distanglement中的核心思想是：用正则化项去augmentVAE的变分下届，这样会激励隐变量z的distanglement。严肃的讲，假设数据x~p(x|v,w)，即数据x取决于条件独立因子v和非条件独立因子w。我们的目标是augmentVAE的变分下界，这样推理模型q(z|x)可以学习预测因子v，以此来学习生成过程。

如何评估distanglement我们后面研究深入后会研究这个问题，因为作者也说 ：”每个作者都有自己的评价指标，而且这些作者都认为自己的评价指标好“

后面全是模型的优劣分析，这里就不做介绍，具体看论文好一点。

β-VAE，FactorVAE，β-TCVAE，InfoVAE，HSIC-VAE,HFVAE,DIPVAE

为什么不讨论GAN模型？

GAN模型只关注数据的生成过程，并不关注表示学习(至少在目前的GAN版本中是这样的)