深度信念网络

  本章介绍一种可以有效学习变量之间复杂依赖关系的概率图模型（深度信念网络）以及两种相关的基础模型（玻尔兹曼机和受限玻尔兹曼机）．

12.1 玻尔兹曼机

  玻尔兹曼机（ Boltzmann Machine ）是一个随机动力系统（ Stochastic Dy-namical System ），每个变量的状态都以一定的概率受到其他变量的影响．

  在玻尔兹曼机中，配分函数 Z 通常难以计算，因此，联合概率分布 p(x) 一般通过 MCMC 方法来近似，生成一组服从 p(x) 分布的样本．

  玻尔兹曼机可以用来解决两类问题．一类是搜索问题：当给定变量之间的连接权重时，需要找到一组二值向量，使得整个网络的能量最低．另一类是学习问题：当给定变量的多组观测值时，学习网络的最优权重．

  Hopfield 网络是一种确定性的动力系统，而玻尔兹曼机是一种随机性的动力系统． Hopfield 网络的每次状态更新都会使得系统的能量降低，而玻尔兹曼机则以一定的概率使得系统的能量上升．

  要使得动力系统达到热平衡，温度 T 的选择十分关键．一个比较好的折中方法是让系统刚开始在一个比较高的温度下运行达到热平衡，然后逐渐降低，直到系统在一个比较低的温度下运行达到热平衡．这样我们就能够得到一个能量全局最小的分布