Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering(VaDE)

0. Write behind

本篇文章也是关于VAE的深度无监督聚类算法VaDE，主要从它的模型、Loss、优化方法去讲、最后会简单提及实验部分，并且与之前的GMVAE作比较。

1. Abstract

• 提出VaDE模型，它是深度无监督聚类生成模型，结合了VAE和GMM。
• 指出数据的生成过程：
  1.从GMM分布中选择一个簇
  2.从这个簇中产生一个隐变量z
  3.解码该隐变量z生成观测数据
• 提出用SVGB优化方法
• 实验效果很好
  

1. Introduction(介绍)

• 这一部分一般是概要性的引出作者提出的模型，我们直接上模型。
• 下图为VaDE的图解，左边是模型的生成过程，右边是模型的推理过程
• 在这一部分，文中还说到DEC模型的缺陷：DEC模型没有数据生成的过程，所以不能产生图片，因为它使用的是Autoencoder
  
  

2. Related work

• 这一部分主要是写前人的一些研究工作并说出它们的不足，最后再引出自己的模型，并说说自己模型的优点，不再介绍。

3. Variational Deep Embedding(VaDE)

这一部分作者详细阐述了VaDE模型，包括生成模型和推理模型

3.1 Generative Model

• 生成模型是公式(3)：p(x,z,c) = p(x|z)p(z|c)p(c )，代表上述的生成过程
  

3.2 Inference Model

• 推理模型为公式(8):q(z,c|x)=q(z|x)q(c|x),用来优化我们的变分下界的
• 公式(9)给出了变分下届，公式(12)给出了近似解(编程时用)，其中的数学推导很复杂，这篇paper再最后给出了详细的证明，有兴趣可以自己下载下来看看，这里不再赘述。
• 公式(16)给出了一个优化trick，也是详细证明的。公式(16)表示的是GMM中的响应度，GMM就是靠这个来聚类的。
  
  

3.3 Understanding the ELBO of VaDE

• 这一节主要探讨VaDE的变分下界，具体的是KL散度项对VaDE的影响，同时用图例的方法给出了在准确率上，VaDE的优越性。
  

4. Experiments

• 关于实验这块，不想讲太多，主要了了几个细节

4.1 Net Structure

推理网络：D-500-500-2000-10(FC)
生成网络：10-2000-500-500-D(FC)
优化器：ADAM
BATCH_SIZE:100
GMM的参数是经过预先初始化的，然后放入到网络中训练，根据GMM模型可知，网络收敛不到全局最优，只能收敛到局部最优甚至更糟糕

4.2 Pre-training(figure out over-regularisation problem)

• 文中指出公式17中的重构项会在训练初期变得非常的“weak”，以至于会导致模型陷入局部解或者鞍点。作者使用了AE做了预训练，和DEC很像。从而避免的这个问题。
  
  

4.3 Sample from different components of GMM

5. 与GMVAE的区别

GMVAE
1.推理模型和生成模型不一样
2.计算准确率的方式不一样
3.处理over-regularisation问题的方式不一样