无监督学习

无监督学习的数据点没有标签。无监督学习是为了以某种方式组织数据，找出数据中存在的内在结构。包括对数据进行聚类或者找到简单的方式处理复杂数据。
无监督学习的目标一般是最大似然，也就是学到的模型应该使得真实数据出现的可能性最大，这个目标也等价于最小化KL散度。但是这个目标在处理高维问题时带来一个问题：真实分布和生成分布的支撑集不重叠或者重叠部分可忽略，那么KL散度不再有意义。

所以很多方法都会向模型加入噪声以使最大化似然有效。

而变分自动编码器VAE和生成对抗网络GAN都是定义服从某固定分布的随机变量$Z$，然后定义函数$g_\theta:{\cal Z}\rightarrow{\cal X}$直接按分布$P_\theta$生成样本。通过改变$\theta$可以使分布接近真实分布。