玻尔兹曼机的描述

玻尔兹曼机

玻尔兹曼机是一类随机递归神经网络，由杰弗里·欣顿和特里·谢诺沃斯基构造于1985年。玻尔兹曼机可视为霍普菲尔德网络的衍生版本：具有随机和产生式之特征。它是第一个可学习内部表征的神经网络。

玻尔兹曼机的命名来源是统计力学中的玻尔兹曼分布，此分布亦用于了玻尔兹曼机的采样函数。

结构

与霍普菲尔德网络相似，玻尔兹曼机是一个网络，其节点包含“能量”。不同于霍普菲尔德网络，玻尔兹曼机的节点是随机的。全局能量 $E$ 的形式与霍普菲尔德网络相同：

$$E=-(\sum_{i<j}w_{ij}s_is_j + \sum_i\theta_is_i)$$

其中:
* $w_{ij}$ 表示节点间的连接强度。
* $s_i$ 表示节点的状态，$s_i \in {0,1}$。
* $\theta_i$ 表示全局能量函数中节点 $i$ 的偏差。（$-\theta_i$ 是节点激活之临界值）

能量最小化

根据全局能量的公式，节点的输入之和大于阈值之时，更新节点的状态会降低能量。

• 训练集的分布表示为 $P^+(V)$
• 当玻尔兹曼机达到热平衡之时，全局状态的分布收敛于（局部）最优。此时，隐含节点的边缘分布表示为 $P(V)$。

玻尔兹曼机的目标是学习 $P(V)$，使其可重构训练集的分布 $P^+(V)$。为了度量概率分布的近似度，引入K-L散度作为度量方法：

$$D_{KL}(P^+(V)||P(V)) = \sum_v P^+(v) \log \frac{P^+(v)}{P(v)}$$

注释

反过来想，如果我的想象需要符合经验，即：隐层节点重构的数据近似于训练集，那么：
* 接近律Law of Proximity：在时间或空间上接近的事物容易发生联想。
* 我的大脑需要有一个稳态，即收敛至局部最优。

全局能量的基数是固定的，即：网络的边数。因此，一条边的节点“具有相同状态的概率”愈大，其权重愈大，则全局能量愈小。这就意味着：玻尔兹曼机的（局部）最优会将相似特征连接至同一隐层节点。由此，相似特征的不断共现方可增加 $w_{ij}s_is_j$。

• 玻尔兹曼机可能停止在局部最优，这是梯度下降的特征。

受限玻尔兹曼机

受限玻尔兹曼机由保罗·斯莫伦斯基构造于1986年，以Harmonium命名。PDP 中的描述是：

In harmony theory, knowledge is encoded as constraints among a set of well-tuned perceptual features. There constraints are numerical and are imbedded in an extremely powerful parallel constraint satisfaction machine: an informal inference engine. The constraints and features evolve gradually through experience.

The competence of models in this framework can sometimes be neatly expressed by symbolic rules, but their performance is never achieved by explicitly storing these rules and passing them through a symbolic interpreter.

结构

RBM 包含了权重矩阵 $W=(w_{ij})$，权重连接了隐含节点 $h_j$ 和可视节点 $v_j$ ，以及可视层的偏移量 $a_i$ 和隐含层的偏移量 $b_j$ 。给定配置 $(v,h)$ ，其全局能量的定义是：

$$E(v,h) = -\sum_i a_iv_i - \sum_j b_jh_j - \sum_i\sum_j v_iw_{ij}h{j}$$

根据 BM 的定义，配置的概率分布可定义为：

$$P(v,h) = \frac{1}{Z} e^{-E(v,h)}$$
其中， Z <script type="math/tex" id="MathJax-Element-23">Z</script> 表示配分函数。

引用

1. 维基百科词条：玻尔兹曼机
2. 维基百科词条：受限玻尔兹曼机
3. J. J. Hopfield, “Neural networks and physical systems with emergent collective computational abilities”, Proceedings of the National Academy of Sciences of the USA, vol. 79 no. 8 pp. 2554–2558, April 1982.
4. Ackley, David H; Hinton Geoffrey E; Sejnowski, Terrence J (1985), “A learning algorithm or
   f Boltzmann machines”, Cognitive science, Elsevier, 9 (1): 147–169