限制性玻尔兹曼机（Restricted Bottzmann Machine，RBM）

背景介绍

一、玻尔兹曼机

玻尔兹曼机简单地说就是一个马尔科夫随机场（Markov Random Field），即一个无向图模型。但是玻尔兹曼机比无向图模型还是多了一些东西，就是玻尔兹曼机将其中的节点分为两类，一类是 hidden nodes，另一类是 visible nodes。

如上图所示，就是一个玻尔兹曼机，其中蓝色的是 hidden nodes，白色的是 visible nodes。
对于一个无向图模型来说，最重要的就是因子分解（Hammersley Clifferd Theorem）：（基于最大团的概念）
$$\begin{gathered} P(x)=\frac{1}{z}\prod _{i=1}^K{\psi }_i(x_{ci}) \\ s.t.\psi >0 \\ K表示最大团的个数 \\ ci表示最大团 \\ {x}_{ci}表示最大团对应的随机变量集合 \\ {\psi }_i(x_{ci})是势函数 \\ z是归一化因子 \end{gathered}$$
一 般 取 ψ 为 指 数 函 数 ， 即 可 保 证 大 于 0 ψ i ( x c i ) = e x p { − E ( x c i ) } P ( x ) = 1 z ∏ i = 1 K ψ i ( x c i ) = 1 z ∏ i = 1 K e − E ( x c i ) = 1 z e − ∑ i = 1 K E ( x c i ) 一般取\psi为指数函数，即可保证大于0 \\ \psi_i(x_{ci})=exp\{ -E(x_{ci}) \}\\ \begin{aligned} P(x) &= \frac 1z\prod _{i = 1}^{K} \psi_i(x_{ci})\\ &=\frac 1z\prod_{i=1}^K e^{-E(x_{ci})}\\ &=\frac 1z e^{-\sum_{i = 1}^{K} E(x_{ci})} \end{aligned} 一般取ψ为指数函数，即可保证大于0ψi​(xci​)=exp{−E(xci​)}P(x)​=z1​i=1∏K​ψi​(xci​)=z1​i=1∏K​e−E(xci​)=z1​e−∑i=1K​E(xci​)​
其中E是能量函数(Energy function)，能量越大越不稳定，就有从该状态变为稳定状态（能量低的状态）的趋势。

二、限制性玻尔兹曼机

对玻尔兹曼机进行了简化，hidden 节点与 visible 节点之间有连接，但是 hidden 节点与 hidden 节点之间，以及 visible 与 visible 节点之间没有连接。