【深度学习】受限玻尔兹曼机原理推导

1、前言

受限玻尔兹曼机，一个基于概率图的模型。本文对受限玻尔兹曼机的原理进行简单推导，其中相关知识的某些原理也不会过多涉及，只着重于受限玻尔兹曼机。代码实现
数学基础：【概率论与数理统计知识复习-哔哩哔哩】

2、引入

2.1、无向图

在一张图中，我们存在一些节点和边，这些节点之间存在的某种关系，通过边来表示，节点和边共同组成了一张图，并且这些边是没有方向的（即互联），这种图被称为无向图。

在我们应用的过程中，里面的每一个节点，一般就是我们某个数据的一个维度。比如假设某个样本$x_i\in (x_1,x_2,x_3,x_4,x_5)$，那么图中的$a,b,c,d,e$就分别对应$x_1,x_2,x_3,x_4,x_5$。

性质：$\boxed{成对马尔可夫性：当节点i，j没有边相连，则有x_i\perp x_j|x_{-i-j}}$。比如图中，对节点a和c，再给定d的情况下，两者独立$\to a\perp c|b$

2.2、受限玻尔兹曼机（RBM）

受限玻尔兹曼机（以下简称RBM），本质上就是一个无向概率图模型，但是它有一个特点，便是引入了隐变量h（无法观测到的数据，意为我们仅仅知道观测数据$x$），其模型图可表示为

可以看到，对于观测变量$x$，其两两之间是没有边相连。隐变量h也是同理。在实际应用中，一般就是求$P(h|x)$或者$P(x|h)$。

这是一个概率图模型，既然是概率图，那就必须有三大问题——$\boxed{表示、推断、学习}$

$\boxed{表示——如何将模型表示成概率分布函数的形式}$

$\boxed{推断——如何求出边缘概率，条件概率等(包含预测)}$

$\boxed{学习——如何学习模型参数}$

3、三大问题

3.1、表示

3.1.1、无向图模型表示

在无向图中，一般情况下我们将里面所有的节点表示为
$$P(x)=\frac{1}{Z}\prod _{i=1}^k\varphi (x_{ci})$$
其中，$Z$被称为配分函数（用于归一化，保证概率值在0~1），$\varphi$被称为势函数，$k$就是图中$\boxed{最大团}$的个数（不理解没关系，也可以直接看RBM的模型表示），其中
$$Z=\sum _x\prod _{i=1}^k\varphi (x_{ci})$$
对于势函数$\varphi$，我们一般定义为
ϕ ( x c i ) = exp ⁡ { − E ( x c i ) } \phi(x_{ci})=\exp\left\{-E(x_{ci})\right\} ϕ(xci​)=exp{−E(xci​)}
$E(x_{ci})$为最大团对应的能量函数

所以，最终的模型可以表示为（将多个exp相乘转成相加）
$$P(x)=\frac{1}{Z}\exp \left\{-\sum _{i=1}^{k}E(x_{ci})\right\}\text{\hspace{1em}(1)}$$
这只是一个大体形式的表达，具体到其他模型中，能量函数需要自行去设定。

3.1.2、RBM模型表示

对于（式1），exp里面的$x_{ci}$，加上连加号，可以用所有的x表示（去掉连加号）
P ( x ) = 1 Z exp ⁡ { − E ( x ) } P(x)=\frac{1}{Z}\exp\left\{-E(x)\right\} P(x)=Z1​exp{−E(x)}
又因为在RBM中，节点数包括隐变量$h$和观测变量$x$，所以，理应表达成
P ( x , h ) = 1 Z exp ⁡ { − E ( x , h ) } P(x,h)=\frac{1}{Z}\exp\left\{-E(x,h)\right\} P(x,h)=Z1​exp{−E(x,h)}
定义变量
$$x={\left(\begin{array}{c}{x}_1\\ x_2\\ \cdots \\ x_n\end{array}\right)}_{n\times 1};h={\left(\begin{array}{c}{h}_1\\ h_2\\ \cdots \\ h_m\end{array}\right)}_{m\times 1};w={\left[\begin{array}{cccc}{w}_{11}& w_{12}& \cdots & w_{1m}\\ w_{21}& w_{22}& \cdots & w_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ w_{n1}& w_{n2}& \cdots & w_{nm}\end{array}\right]}_{n\times m}$$
x为观测变量的维度，h为隐变量的维度，w为x和h节点相连的的边

所以，一般情况下，我们定义受限玻尔兹曼机
$$E(x,h)=-(x^{T}wh+{\alpha }^{T}h+{\beta }^{T}x)$$
负号是为了抵消掉exp中的负号，$\boxed{\alpha 维度是m\times 1}$，$\boxed{\beta 维度是n\times 1}$，参数为$w,\alpha ,\beta$

可以看到，我们表示成了$\boxed{观测变量与隐变量相连+隐变量节点+观测变量节点}$。这种表达是相当合理的。

所以我们的模型就表示为
$$P(x,h)=\frac{1}{Z}\exp \left\{x^{T}wh+{\alpha }^{T}h+{\beta }^{T}x\right\}\text{\hspace{1em}(2)}$$

3.2、推断

在推断中，是假设我们的参数已经学习出来了。

在传统的RBM中，对于每一个$h_i,x_i\in 0,1$，也就是一般它们是取二值。

$\boxed{在后面学习问题中，我们仅仅会用到P(h_l|x)或者P(x_l|h)（l代表某一个样本索引），所以推断我们仅仅讲这个}$

因为这是一个二值问题，所以我们只需要求出$P(h_l=1|x)$，$P(h_l=0|x)$自然可以为$1-P(h_l=1|x)$

$\boxed{在求解之前，我们将式（2）分解为和节点l相关与无关的两部分（后面用到）}$
$$\begin{array}{rl}P(x,h)=& \frac{1}{Z}\exp \left\{x^{T}wh+{\alpha }^{T}h+{\beta }^{T}x\right\}\\ =& \frac{1}{Z}\exp \left\{\sum _{i=1}^n\sum _{j=1}^m{x}_i{w}_{ij}{h}_j+\sum _{j=1}^m{\alpha }_j{h}_j+\sum _{i=1}^n{\beta }_i{x}_i\right\}\\ =& \frac{1}{Z}\exp \left\{\left(\sum _{i=1}^n\sum _{j\ne l}^m{x}_i{w}_{ij}{h}_j+\sum _{i=1}^n{x}_i{w}_{il}{h}_l\right)+\left(\sum _{j\ne l}^m{\alpha }_j{h}_j+{\alpha }_l{h}_l\right)+\sum _{i=1}^n{\beta }_i{x}_i\right\}\end{array}$$
将与$l$相关的部分记作$H_l$，无关记作${\bar{H}}_l$
$$\begin{array}{rl}{H}_l=& \sum _{i=1}^n{x}_i{w}_{il}{h}_l+{\alpha }_l{h}_l\\ {\bar{H}}_l=& \sum _{i=1}^n\sum _{j\ne l}^m{x}_i{w}_{ij}{h}_j+\sum _{j\ne l}^m{\alpha }_j{h}_j+\sum _{i=1}^n{\beta }_i{x}_i\end{array}$$
所以
$$P(x,h)=\frac{1}{Z}\exp \left\{H_l+{\bar{H}}_l\right\}$$

3.2.1、求解$P(h_l=1|x)$

$$\begin{array}{rl}P(h_l=1|x)=& P(h_l=1|h_{-l},x)\\ =& \frac{P(h_l=1,h_{-l},x)}{\sum _{l}P(h_l,h_{-l},x)}\\ =& \frac{P(h_l=1,h_{-l},x)}{P(h_l=1,h_{-l},x)+P(h_l=0,h_{-l},x)}\end{array}\text{\hspace{1em}(a)(b)}$$

$-l$表示除了$l$以外的其他样本。（式a）用到了前面提到的$\boxed{成对马尔科夫性}$，（式b）用到了贝叶斯公式。

注意看，分子和分母实际上都是一个$P(x,h)$，只是第$l$个节点确定了某一个值而已。记$H_l(1)$表示$h_l=1$的情况，所以分子，分母分别是
$$\begin{array}{rl}P(h_l=1,h_{-i},x)=& \frac{1}{Z}\exp \left\{H_l(1)+{\bar{H}}_l\right\}\\ P(h_l=1,h_{-i},x)+P(h_l=0,h_{-i},x)=& \frac{1}{Z}\exp \left\{H_l(1)+{\bar{H}}_l\right\}+\frac{1}{Z}\exp \left\{H_l(0)+{\bar{H}}_l\right\}\end{array}$$
所以
P ( h l = 1 ∣ x ) = 1 Z exp ⁡ { H l ( 1 ) + H ˉ l } 1 Z exp ⁡ { H l ( 1 ) + H ˉ l } + 1 Z exp ⁡ { H l ( 0 ) + H ˉ l } = 1 1 + exp ⁡ { H l ( 0 ) + H l ˉ − H l ( 1 ) − H ˉ l } = 1 1 + exp ⁡ { H l ( 0 ) − H l ( 1 ) } = 1 1 + exp ⁡ { − ∑ i = 1 n x i w i l − α l } \begin{align} P(h_l=1|x)=&\frac{\frac{1}{Z}\exp\left\{H_l(1)+\bar H_l\right\}}{\frac{1}{Z}\exp\left\{H_l(1)+\bar H_l\right\}+\frac{1}{Z}\exp\left\{H_l(0)+\bar H_l\right\}}\tag{a} \\=&\frac{1}{1+\exp\left\{H_l(0)+\bar{H_l}-H_l(1)-\bar H_l\right\}}\tag{b} \\=&\frac{1}{1+\exp\left\{H_l(0)-H_l(1)\right\}}\tag{c} \\=&\frac{1}{1+\exp\left\{-\sum\limits_{i=1}^nx_iw_{il}-\alpha_l\right\}}\tag{d} \end{align} P(hl​=1∣x)====​Z1​exp{Hl​(1)+Hˉl​}+Z1​exp{Hl​(0)+Hˉl​}Z1​exp{Hl​(1)+Hˉl​}​1+exp{Hl​(0)+Hl​ˉ​−Hl​(1)−Hˉl​}1​1+exp{Hl​(0)−Hl​(1)}1​1+exp{−i=1∑n​xi​wil​−αl​}1​​(a)(b)(c)(d)​
（式a）到（式b）是分式上下同时除以分子。（式c）到（式d）是将$H_l$的值代入。·

3.2.2、求解$P(x_l=1|h)$

由于推导过程与$P(h_l=1|x)$一致，所以便不再重复推导，给出结论
$$P(x_l=1|h)=\frac{1}{1+\exp \left\{-\sum _{j=1}^m{w}_{lj}{h}_j-{\beta }_l\right\}}$$

3.3、学习

L e a n i n g 问题是学习出参数 θ ∈ { w , α , β } \boxed{Leaning问题是学习出参数\theta \in \{w,\alpha,\beta\}} Leaning问题是学习出参数θ∈{w,α,β}​

3.3.1、目标函数

令$x\in X$，其中$X$是一个$N$维向量，上标表示样本，下标表示维度
$$X={\left(\begin{array}{c}{x}^1\\ x^2\\ ⋮\\ x^N\end{array}\right)}_{N\times n}$$
采用极大似然估计的思想，我们对log似然求最大
$$\begin{array}{rl}\log P(X)=& \log \prod _{i=1}^{N}P(x^i)\\ =& \sum _{i=1}^N\log P(x^i)\end{array}$$
所以目标函数就是
$$\arg \underset{\theta }{\max }\log P(X)=\arg \underset{\theta }{\max }\frac{1}{N}\sum _{i=1}^N\log P(x^i)$$
$\frac{1}{N}$是常数，不影响最终结果，加上仅是为了后面的$\boxed{梯度下降}$

3.3.2、梯度上升

$\boxed{对目标函数关于\theta 求偏导得}$
$$\begin{array}{rl}& \frac{\partial }{\partial \theta }\frac{1}{N}\sum _{i=1}^N\log P(x^i)\\ =& \frac{1}{N}\sum _{i=1}^N\frac{\partial }{\partial \theta }\log P(x^i)\end{array}\text{\hspace{1em}(3)}$$
该问题并没有解析解，需要迭代式求解，将（式3）每一项单独看（为了简便，用x代表某一个样本）
log ⁡ P ( x ) = log ⁡ ∑ h P ( x , h ) = log ⁡ ∑ h 1 Z exp ⁡ { − E ( x , h ) } = log ⁡ 1 Z ∑ h exp ⁡ { − E ( x , h ) } = log ⁡ ∑ h exp ⁡ { − E ( x , h ) } − log ⁡ Z = log ⁡ ∑ h exp ⁡ { − E ( x , h ) } ⏟ ① − log ⁡ ∑ x , h exp ⁡ { − E ( x , h ) } ⏟ ② \begin{aligned} \log P(x)=&\log\sum\limits_{h} P(x,h) \\=&\log \sum\limits_{h}\frac{1}{Z}\exp\left\{-E(x,h)\right\} \\=&\log\frac{1}{Z}\sum\limits_{h}\exp\left\{-E(x,h)\right\} \\=&\log\sum\limits_{h}\exp\left\{-E(x,h)\right\}-\log Z \\=&\underbrace{\log\sum\limits_{h}\exp\left\{-E(x,h)\right\}}_{①}-\underbrace{\log\sum\limits_{{x,h}}\exp\left\{-E(x,h)\right\}}_{②} \end{aligned} logP(x)=====​logh∑​P(x,h)logh∑​Z1​exp{−E(x,h)}logZ1​h∑​exp{−E(x,h)}logh∑​exp{−E(x,h)}−logZ① logh∑​exp{−E(x,h)}​​−② logx,h∑​exp{−E(x,h)}​​​
分别对里面两部分求偏导（链式求导法则）
① = ∂ ∂ θ log ⁡ ∑ h exp ⁡ { − E ( x , h ) } = − 1 ∑ h exp ⁡ { − E ( x , h ) } × ∑ h exp ⁡ { − E ( x , h ) } ∂ E ( x , h ) ∂ θ = − ∑ h exp ⁡ { − E ( x , h ) } ∂ E ( x , h ) ∂ θ ∑ h exp ⁡ { − E ( x , h ) } = − ∑ h P ( x , h ) ∂ E ( x , h ) ∂ θ P ( x ) = − ∑ h P ( h ∣ x ) ∂ E ( x , h ) ∂ θ \begin{align} ①=&\frac{\partial }{\partial \theta}\log\sum\limits_{h}\exp\left\{-E(x,h)\right\}\nonumber \\=&-\frac{1}{\sum\limits_{h}\exp\left\{-E(x,h)\right\}}\times\sum\limits_{h}\exp\left\{-E(x,h)\right\}\frac{\partial E(x,h)}{\partial \theta}\nonumber \\=&-\sum\limits_{h}\frac{\exp\left\{-E(x,h)\right\}\frac{\partial E(x,h)}{\partial \theta}}{\sum\limits_{h}\exp\left\{-E(x,h)\right\}}\tag{a} \\=&-\sum\limits_{h}\frac{P(x,h)\frac{\partial E(x,h)}{\partial \theta}}{P(x)}\tag{b} \\=&-\sum\limits_{h}P(h|x)\frac{\partial E(x,h)}{\partial \theta}\nonumber \end{align} ①=====​∂θ∂​logh∑​exp{−E(x,h)}−h∑​exp{−E(x,h)}1​×h∑​exp{−E(x,h)}∂θ∂E(x,h)​−h∑​h∑​exp{−E(x,h)}exp{−E(x,h)}∂θ∂E(x,h)​​−h∑​P(x)P(x,h)∂θ∂E(x,h)​​−h∑​P(h∣x)∂θ∂E(x,h)​​(a)(b)​
（式a）到（式b）为分子分母同时除以$\frac{1}{Z}$。

同理有
② = ∂ ∂ θ log ⁡ ∑ x , h exp ⁡ { − E ( x , h ) } = − 1 ∑ x , h exp ⁡ { − E ( x , h ) } × ∑ x , h exp ⁡ { − E ( x , h ) } ∂ E ( x , h ) ∂ θ = − ∑ x , h exp ⁡ { − E ( x , h ) } ∂ E ( x , h ) ∂ θ ∑ x , h exp ⁡ { − E ( x , h ) } = − ∑ x , h P ( x , h ) ∂ E ( x , h ) ∂ θ \begin{aligned} ②=&\frac{\partial }{\partial \theta}\log\sum\limits_{{x,h}}\exp\left\{-E(x,h)\right\} \\=&-\frac{1}{\sum\limits_{x,h}\exp\left\{-E(x,h)\right\}}\times\sum\limits_{x,h}\exp\left\{-E(x,h)\right\}\frac{\partial E(x,h)}{\partial \theta} \\=&-\sum\limits_{x,h}\frac{\exp\left\{-E(x,h)\right\}\frac{\partial E(x,h)}{\partial \theta}}{\sum\limits_{x,h}\exp\left\{-E(x,h)\right\}} \\=&-\sum\limits_{x,h}P(x,h)\frac{\partial E(x,h)}{\partial \theta} \end{aligned} ②====​∂θ∂​logx,h∑​exp{−E(x,h)}−x,h∑​exp{−E(x,h)}1​×x,h∑​exp{−E(x,h)}∂θ∂E(x,h)​−x,h∑​x,h∑​exp{−E(x,h)}exp{−E(x,h)}∂θ∂E(x,h)​​−x,h∑​P(x,h)∂θ∂E(x,h)​​
所以
$$\begin{array}{r}\frac{\partial \log P(x)}{\partial \theta }=\sum _{x,h}P(x,h)\frac{\partial E(x,h)}{\partial \theta }-\sum _{h}P(h|x)\frac{\partial E(x,h)}{\partial \theta }\end{array}\text{\hspace{1em}(4)}$$
对$w,\alpha ,\beta$分别求导

3.3.2.1、w

将$E(x,h)$代入（式4），并对$w_{ij}$求导
$$\begin{array}{r}\frac{\partial \log P(x)}{\partial w_{ij}}=-\underset{①}{\underbrace{\sum _{x,h}P(x,h)x_i{h}_j}}+\underset{②}{\underbrace{\sum _{h}P(h|x)x_i{h}_j}}\end{array}$$
对于①
$$\begin{array}{rl}\sum _{x,h}P(x,h)x_i{h}_j=& \sum _x\sum _{h_j}{x}_i{h}_j\sum _{h_1,\cdots ,h_{j-1},h_{j+1},h_m}P(x,h)\\ =& \sum _x\sum _{h_j}P(h_j|x)P(x)x_i{h}_j\\ =& \sum _{x}P(h_j=1|x)P(x)x_i\end{array}\text{\hspace{1em}(a)(b)}$$
（式a）到（式b）是将$h_j\in (0,1)$分别代入
第②项同理
$$\begin{array}{rl}\sum _{h}P(h|x)x_i{h}_j=& \sum _{h_j}{x}_i{h}_j\sum _{h_1,\cdots ,h_{j-1},h_{j+1},h_m}P(h|x)\\ =& \sum _{h_j}P(h_j|x)x_i{h}_j\\ =& P(h_j=1|x)x_i\end{array}$$
所以
$$\frac{\partial \log P(x)}{\partial w_{ij}}=P(h_j=1|x)x_i-\sum _{x}P(h_j=1|x)P(x)x_i$$

3.3.2.2、$\alpha$

$$\begin{array}{r}\frac{\partial \log P(x)}{\partial {\alpha }_j}=\sum _{h}P(h|x)h_j-\sum _{x,h}P(x,h)h_j\end{array}$$

$\boxed{采用与w一样的方法，得到}$
$$\frac{\partial \log P(x)}{\partial {\alpha }_j}=P(h_j=1|x)-\sum _{x}P(h_j=1|x)P(x)$$

3.3.2.3、$\beta$

$$\begin{array}{r}\frac{\partial \log P(x)}{\partial {\beta }_i}=\sum _{h}P(h|x)x_i-\sum _{x,h}P(x,h)x_i\end{array}$$

$\boxed{这个有点特殊}$
$$\begin{array}{rl}\frac{\partial \log P(x)}{\partial {\beta }_i}=& \sum _{h}P(h|x)x_i-\sum _{x,h}P(x,h)x_i\\ =& x_i\sum _{h}P(h|x)-\sum _{x,h}P(h|x)P(x)x_i\\ =& x_i-\sum _{x}P(x)x_i\end{array}\text{\hspace{1em}(a)(b)}$$
（式a）到（式b）是因为概率求和为1。

3.3.2.4、总梯度

$\boxed{所以单个样本的梯度为：}$
$$\boxed{\begin{array}{rl}\frac{\partial \log P(x)}{\partial w_{ij}}=& P(h_j=1|x)x_i-\sum _{x}P(h_j=1|x)P(x)x_i\\ \frac{\partial \log P(x)}{\partial {\alpha }_j}=& P(h_j=1|x)-\sum _{x}P(h_j=1|x)P(x)\\ \frac{\partial \log P(x)}{\partial {\beta }_i}=& x_i-\sum _{x}P(x)x_i\end{array}}$$
$\boxed{依据\frac{1}{N}\sum _{i=1}^N\frac{\partial }{\partial \theta }\log P(x^i)}$，可得只需要对于每一个样本都求出梯度累加，然后除以N即可。然后利用梯度上升。

3.3.3、存在问题

很容易看到，求梯度的时候用到了$\sum _x$，如果$x$维度很大，计算的复杂度往往是非常高的，加上$P(x)$是含有配分函数。所以一般用采样的方法进行近似求解。$\boxed{在RBM中，一般使用CD-K(类似于吉布斯采样)}$

4、CD-K采样

对每一项
$$\sum _{x}P(h_j=1|x)P(x)x_i\approx \frac{1}{n}\sum _{i=1}^{n}P(h_j=1|x)x_i$$
其中$x\sim P(x)$，采n个样本，但是对于$P(x)$，其概率分布相对复杂。并且，传统的采样方法何时达到平稳分布是一个极大的问题。所以，我们的采样步骤是这样的
$$\boxed{\begin{array}{rl}For& iinX:\\ & x_0=x\\ & For1,2,\cdots ,k:\\ & Forlinh:h_l\sim P(h_l|x_0)\\ & Forlinx:x_l\sim P(x_l|h_l)\end{array}}$$
即对每一个样本，以$x_0=x^i$，从$x_0$开始，采样出h，再从h采样出x，最后的x就是我们需要的。其中k就是执行k步吉布斯采样，最终每个样本得到的梯度累加除以N即可

5、结束

以上，就是RBM的原理推导了，推导并不严谨，如有问题，还望指出，阿里嘎多。