深度学习的最新研究进展（三）

本文我们将简要讨论其他深度架构，它们使用与深度神经网络类似的多个抽象层和表示层，也称为深度生成模型（deep generate Models，DGM）。Bengio（2009）解释了深层架构，例如Boltzmann machine（BM）和Restricted Boltzmann Machines（RBM）及其变体等。

Goodfellow等（2016）详细解释了深度生成模型，如受限和非受限的玻尔兹曼机及其变种、深度玻尔兹曼机、深度信念网络（DBN）、定向生成网络和生成随机网络等。

Maaløe等（2016）提出了辅助的深层生成模型（Auxiliary Deep Generative Models），在这些模型中，他们扩展了具有辅助变量的深层生成模型。辅助变量利用随机层和跳过连接生成变分分布。

Rezende等（2016）开发了一种深度生成模型的单次泛化。

玻尔兹曼机

玻尔兹曼机是学习任意概率分布的连接主义方法，使用最大似然原则进行学习。

受限玻尔兹曼机

受限玻尔兹曼机（Restricted Boltzmann Machines，RBM）是马尔可夫随机场的一种特殊类型，包含一层随机隐藏单元，即潜变量和一层可观测变量。

Hinton和Salakhutdinov（2011）提出了一种利用受限玻尔兹曼机（RBM）进行文档处理的深度生成模型。

深度信念网络

深度信念网络（Deep Belief Networks，DBN）是具有多个潜在二元或真实变量层的生成模型。

Ranzato等（2011）利用深度信念网络（deep Belief Network，DBN）建立了深度生成模型进行图像识别。

深度朗伯网络

Tang等（2012）提出了深度朗伯网络（Deep Lambertian Networks，DLN&#x