深度信念网络

  本章介绍一种可以有效学习变量之间复杂依赖关系的概率图模型（深度信念网络）以及两种相关的基础模型（玻尔兹曼机和受限玻尔兹曼机）．

12.1 玻尔兹曼机

  玻尔兹曼机（ Boltzmann Machine ）是一个随机动力系统（ Stochastic Dy-namical System ），每个变量的状态都以一定的概率受到其他变量的影响．

  在玻尔兹曼机中，配分函数 Z 通常难以计算，因此，联合概率分布 p(x) 一般通过 MCMC 方法来近似，生成一组服从 p(x) 分布的样本．

  玻尔兹曼机可以用来解决两类问题．一类是搜索问题：当给定变量之间的连接权重时，需要找到一组二值向量，使得整个网络的能量最低．另一类是学习问题：当给定变量的多组观测值时，学习网络的最优权重．

  Hopfield 网络是一种确定性的动力系统，而玻尔兹曼机是一种随机性的动力系统． Hopfield 网络的每次状态更新都会使得系统的能量降低，而玻尔兹曼机则以一定的概率使得系统的能量上升．

  要使得动力系统达到热平衡，温度 T 的选择十分关键．一个比较好的折中方法是让系统刚开始在一个比较高的温度下运行达到热平衡，然后逐渐降低，直到系统在一个比较低的温度下运行达到热平衡．这样我们就能够得到一个能量全局最小的分布．这个过程被称为模拟退火（ Simulated Annealing ）

12.2 受限玻尔兹曼机

  全连接的玻尔兹曼机在理论上十分有趣，但是由于其复杂性，目前为止并没有被广泛使用．虽然基于采样的方法在很大程度提高了学习效率，但是每更新一次权重，就需要网络重新达到热平衡状态，这个过程依然比较低效，需要很长时间．在实际应用中，使用比较广泛的是一种带限制的版本，也就是受限玻尔兹曼机．

  受限玻尔兹曼机（ Restricted Boltzmann Machine ， RBM ）是一个二分图结构的无向图模型.

  在受限玻尔兹曼机的全条件概率中，可观测变量之间互相条件独立，隐变量之间也互相条件独立．因此，受限玻尔兹曼机可以并行地对所有的可观测变量（或所有的隐变量）同时进行采样，从而可以更快地达到热平衡状态．

一般来说，常见的受限玻尔兹曼机有以下三种：

• 伯努利 - 伯努利”受限玻尔兹曼机（ Bernoulli-Bernoulli RBM, BB-RBM ）
• “高斯 - 伯努利”受限玻尔兹曼机（ Gaussian-BernoulliRBM,GB-RBM ）
• “伯努利 - 高斯”受限玻尔兹曼机（Bernoulli-GaussianRBM,BG-RBM ）

12.3 深度信念网络

  深度信念网络（ Deep Belief Network ， DBN ）是一种深层的概率有向图模型，其图结构由多层的节点构成．

深度信念网络是一个生成模型，可以用来生成符合特定分布的样本．

  深度信念网络的训练过程可以分为逐层预训练和精调两个阶段．先通过逐层预训练将模型的参数初始化为较优的值，再通过传统学习方法对参数进行精调．