深度生成模型可以分为有监督与无监督,主要还是在于无监督地应用,用于在没有目标类标签信息的情况下捕捉观测到或可见数据的高阶相关性,可以通过从网络中采样来生成有效样本,譬如受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)、深度信念网络(Deep Belief Network, DBN)、深度玻尔兹曼机(Deep Boltzmann Machine, DBM)和广义除噪自编码器(Generalized Denoising Autoencoders)。
DBN是由一组RBM堆叠而成的深度生成式网络,核心是贪婪的逐层学习的算法。而RBM是基于能量的模型,基于能量的模型是使用图描述模型结构,属于深度学习中的结构化概率模型。
所以本小白决定首先从贪婪的逐层学习算法开始学习。