无监督学习的数据点没有标签。无监督学习是为了以某种方式组织数据,找出数据中存在的内在结构。包括对数据进行聚类或者找到简单的方式处理复杂数据。
无监督学习的目标一般是最大似然,也就是学到的模型应该使得真实数据出现的可能性最大,这个目标也等价于最小化KL散度。但是这个目标在处理高维问题时带来一个问题:真实分布和生成分布的支撑集不重叠或者重叠部分可忽略,那么KL散度不再有意义。
所以很多方法都会向模型加入噪声以使最大化似然有效。
而变分自动编码器VAE和生成对抗网络GAN都是定义服从某固定分布的随机变量
Z
,然后定义函数