关于隐式密度模型和显示密度模型的思考与学习

此前学习PULSE（见论文学习笔记5）一文时发现其提出的一个思想：使用一个带有隐式空间的生成模型来近似自然图像流形空间M
虽然上学期学过GAN，但其实隐式空间这个术语对我来说还是稍显陌生。论文上说这些方法（eg：VAE,GANs）会通过可微分的隐式结点生成图片，并通过降维loss指导搜寻。
这里我发现好像隐式的含义就是基于之前学过的带隐变量的模型，再结合《神经网络与深度学习》一书中13章的解释，总结重点如下：

1. 原文中表示，由于事实上我们无法直接找到这样的一个流形空间，因此可以通过无监督学习去近似。这些无监督模型恰恰就是从隐空间映射到我们所需空间的模型。
2. 说到无监督模型的映射，书上给出了解释：通常情况下观测变量X时高维空间中的随机向量，而隐变量Z是相对低维空间中的随机变量。这个相对低维空间就是文章中所描述的隐空间（包含隐变量的空间）。
3. 揭示了隐空间的概念，书中又提出了所谓的显式密度模型和隐式密度模型，即虽然VAE和GAN都能近似观测变量的分布，但以VAE为例的深度生成模型是通过显式的构建出样本的密度函数$p(x|z;\theta )$，并通过最大似然估计来求解参数（EM算法），因此这些模型被称为显式密度模型。
4. 反之， 我们假设在低维空间$Z$中有一个简单的易于采样的分布$p(z)$(通常为标准正态分布$N(0,I)$，我们可以通过神经网络构成一个从$Z$到$S$的映射G，将G成为生成网络。然后利用生成网络拟合$G(z)$使其服从分布$p_r(x)$，这种模型称为隐式密度模型。隐式与显式最大的区别就在于是建模$p_r(x)$还是建模数据的生成过程。