Sigmoid信念网络|机器学习推导系列（二十八）

一、概述

Sigmoid信念网络（Sigmoid Belief Network，SBN）是一种有向图模型，这里的信念网络指的就是贝叶斯网络，也就是有向图模型，sigmoid指的就是sigmoid函数：

$$\sigma (x)=\frac{1}{1+exp(-x)}$$

在Sigmoid信念网络中同样有两观测变量和隐变量，不过他们的连接是有向的，并且节点全部服从0-1分布，并且概率值与sigmoid函数有关。Sigmoid信念网络的概率图如下所示：

Sigmoid信念网络最常见的结构时分成许多层的结构。有向图天然地具有比较简单的因子分解，变量之间的关系很清晰，因而Sigmoid信念网络的采样比较简单，从根节点开始采样，由于tail-to-tail的结构，其子节点是相互独立的，最终直至采样到可见层。类似神经网络可以在多于一个隐藏层的情况下可以逼近任意连续函数，Sigmoid信念网络具备逼近任意离散函数的能力。

Sigmoid信念网络的随机变量$s$分为隐变量$h$和观测变量$v$：

$$\begin{gathered} s={\left(\begin{array}{cccc}{s}_1& s_2& \cdots & s_p\end{array}\right)}^T \\ h={\left(\begin{array}{cccc}{h}_1& h_2& \cdots & h_m\end{array}\right)}^T \\ v={\left(\begin{array}{cccc}{v}_1& v_2& \cdots & v_n\end{array}\right)}^T \\ p=m+n \end{gathered}$$

Sigmoid信念网络中每个变量只受其祖先节点影响，并且取值为$0$或$1$，对于节点$s_i$来说，其取值为$1$的概率为：

$$P(s_i=1|s_j:j<i)=\sigma (\sum _{j<i}{w}_{ji}{s}_j)$$

这里的$s_j$表示概率图中$s_i$的祖先节点，$w_{ji}$表示参数，注意这里为简便起见没有写出偏置，我们可以认为$w_{ji}$已经包含了偏置了。另外取值为$0$的概率为：

$$\begin{gathered} P(s_i=0|s_j:j<i)=1-P(s_i=1|s_j:j<i) \\ =1-\sigma (\sum _{j<i}{w}_{ji}{s}_j) \\ =\sigma (-\sum _{j<i}{w}_{ji}{s}_j) \end{gathered}$$

这里用到了sigmoid函数的性质：

$$\sigma (-x)=1-\sigma (x)$$

综合一下上面两个概率值，可以将节点$s_i$的概率写为：

$$P(s_i|s_j:j<i)=\sigma (s_i^{\ast }\sum _{j<i}{w}_{ji}{s}_j),其中s_i^{\ast }=2s_i-1$$

那么最终$s$的概率就可以写成：

$$P(s)=\prod _{i=1}^{p}P(s_i|s_j:j<i)$$

尽管有向图模型相比无向图模型具备一些优势，但是在求解Sigmoid信念网络的后验$P(h|v)$时我们仍然遇到了一些困难，主要原因还是explain away问题，也就是head-to-head结构带来的问题。从概率图中可以看出，由于head-to-head结构的存在，在给定观测变量$v$时，隐变量之间不是相互独立的，因此求解$P(h|v)$是相当困难的。那么能不能应用采样的方法呢？事实上在模型相当复杂的情况下，由于维度过高，采样的方法也是相当困难的。下一节我们就来看一下直接应用极大似然估计的方法会遇到什么问题，或者说看一下极大似然估计与后验有什么样的关系。

二、log似然的梯度与后验的关系

假设数据集为$V$，那么模型的$log$似然为：

$$\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{l}\mathrm{i}\mathrm{k}\mathrm{e}\mathrm{l}\mathrm{i}\mathrm{h}\mathrm{o}\mathrm{o}\mathrm{d}:\sum _{v\in V}logP(v)$$

对于每一个$P(v)$，对一个特定的参数$w_{nm}$求导：

$$\begin{gathered} \frac{\partial logP(v)}{\partial w_{nm}}=\frac{1}{P(v)}\frac{\partial P(v)}{\partial w_{nm}} \\ =\frac{1}{P(v)}\frac{\partial {\sum }_{h}P(h,v)}{\partial w_{nm}} \\ =\sum _h\frac{1}{P(v)}\frac{\partial P(h,v)}{\partial w_{nm}} \\ =\sum _h\frac{P(h|v)}{P(h,v)}\frac{\partial P(h,v)}{\partial w_{nm}} \\ =\sum _{h}P(h|v)\frac{1}{P(s)}\frac{\partial P(s)}{\partial w_{nm}} \end{gathered}$$

对于上面式子中蓝色的部分有：

$$\begin{gathered} \frac{1}{P(s)}\frac{\partial P(s)}{\partial w_{nm}}=\frac{1}{{\prod }_{i=1}^{p}P(s_i|s_j:j<i)}\frac{\partial {\prod }_{i=1}^{p}P(s_i|s_j:j<i)}{\partial w_{nm}} \\ =\frac{1}{P(s_m|s_k:k<m){\prod }_{i\ne m}P(s_i|s_j:j<i)}\frac{\partial P(s_m|s_k:k<m){\prod }_{i\ne m}P(s_i|s_j:j<i)}{\partial w_{nm}} \\ =\frac{1}{P(s_m|s_k:k<m){\prod }_{i\ne m}P(s_i|s_j:j<i)}\frac{{\prod }_{i\ne m}P(s_i|s_j:j<i)\partial P(s_m|s_k:k<m)}{\partial w_{nm}} \\ =\frac{1}{P(s_m|s_k:k<m)}\frac{\partial P(s_m|s_k:k<m)}{\partial w_{nm}} \\ =\frac{1}{\sigma (s_m^{\ast }{\sum }_{k<m}{w}_{km}{s}_k)}\frac{\partial \sigma (s_m^{\ast }{\sum }_{k<m}{w}_{km}{s}_k)}{\partial w_{nm}} \\ =\frac{1}{\sigma (s_m^{\ast }{\sum }_{k<m}{w}_{km}{s}_k)}\sigma (s_m^{\ast }\sum _{k<m}{w}_{km}{s}_k)\sigma (-s_m^{\ast }\sum _{k<m}{w}_{km}{s}_k)s_m^{\ast }{s}_n \\ =\sigma (-s_m^{\ast }\sum _{k<m}{w}_{km}{s}_k)s_m^{\ast }{s}_n \end{gathered}$$

这里蓝色的部分又用到了sigmoid函数的性质：

$${\sigma }^{{}^{\prime }}(x)=\sigma (x)\sigma (-x)$$

到此我们就可以得到$log$似然对一个特定参数$w_{nm}$的梯度：

$$\begin{gathered} \frac{\partial }{\partial w_{nm}}\sum _{v\in V}logP(v) \\ =\sum _{v\in V}\frac{\partial logP(v)}{\partial w_{nm}} \\ =\sum _{v\in V}\sum _{h}P(h|v)\sigma (-s_m^{\ast }\sum _{k<m}{w}_{km}{s}_k)s_m^{\ast }{s}_n \\ =E_{(h,v)\sim P(h|v),v\sim P_{data}}\left[\sigma (-s_m^{\ast }\sum _{k<m}{w}_{km}{s}_k)s_m^{\ast }{s}_n\right] \end{gathered}$$

由上式可以看出$log$似然对一个特定参数$w_{nm}$的梯度是与后验$P(h|v)$相关的，然而从概率图中可以看出，观测变量$v$位于最底层，且位于head-to-head结构中，也就是explain away问题，因此想要精确推断这个后验是相当困难的。Sigmoid信念网络的提出者Neal表示可以尝试MCMC的方法，然而这样的方法仅适合$s$纬度较低的情况下，在高维情况下采样是困难的。

三、醒眠算法

1. 算法

在$s$维度过高的情况下，变量之间相互影响交织在一起，难以分解，可以尝试采用平均场理论来分解后验分布，即$q(h|v)={\sum }_{i=1}^M{q}_i$依次求解$q_1,q_2,\cdots ,q_M$，然后应用坐标上升的方法，这个方法我们已经在变分推断那一节讲过了。这里的问题在于对于梯度上升的方法来说，这是一个迭代的过程，而在每次迭代时都要用坐标上升的方法求解后验分布，也就是说又要嵌套一个迭代的过程，因而这种方法的主要问题在于比较耗时。

Neal在1995年提出了一种启发式算法叫做醒眠算法（Wake-Sleep Algorithm），可以近似推断这个后验。他把后验看做一个函数，而非一个分布，理论上神经网络可以近似任意一个连续函数，而sigmoid理论上可以近似任意一个离散函数，因此这属于近似推断的方法，后验分布是学习出来的。醒眠算法如下图所示，除了自上而下的连接（称为Generative Connection）以外，还假设存在自下而上的反向连接（称为Recognization Connection），参数为$R$：

醒眠算法的算法流程为：

• Wake Phase
  ① Bottom-up activate neuron（获得各层样本）
  ② Learning Generative Connection（求解$W$）
• Sleep Phase
  ① Top-down activate neuron（获得各层样本）
  ② Learning Recognization Connection（求解$R$）

这里的Recognization Connection同样使用sigmoid函数作为激活函数，因此每次采样都是从0-1分布中进行采样。另外，Wake Phase时使用训练数据中来初始化观测变量，而Sleep Phase时无论隐变量还是观测变量都是采样得到的，没有使用训练数据。

2. 目标函数

Generative Connection可以看做对$P_{\theta }(h,v)$进行建模，模型参数为$\theta$（也就是$W$），而Recognization Connection可以看做对后验$Q_{\varphi }(h|v)$进行建模，模型参数为$\varphi$（也就是$R$），这里的$Q_{\varphi }(h|v)$相当于一个对后验的近似。

对于$logP(v)$，在前面的章节（EM算法和变分推断）中我们经常使用这个式子：

$$\begin{gathered} logP(v)=ELBO+KL(Q||P) \\ 其中ELBO=E_{Q(h|v)}\left[log\frac{P(v,h)}{Q(h|v)}\right] \\ =E_{Q(h|v)}\left[logP(v,h)\right]+H[Q] \end{gathered}$$

在Wake Phase，我们按照以下式子求解，此时参数$\varphi$是固定的：

$$\begin{gathered} \hat{\theta }=\underset{\theta }{\mathrm{argmax}}{E}_{Q_{\varphi }(h|v)}\left[log{P}_{\theta }(h,v)\right] \\ =\underset{\theta }{\mathrm{argmax}}ELBO \\ =\underset{\theta }{\mathrm{argmin}}KL(Q_{\varphi }(h|v)||P_{\theta }(h|v)) \end{gathered}$$

在Sleep Phase，我们按照以下式子求解，此时参数$\theta$是固定的：

$$\begin{gathered} \hat{\varphi }=\underset{\varphi }{\mathrm{argmax}}{E}_{P_{\theta }(h,v)}\left[log{Q}_{\varphi }(h|v)\right] \\ =\underset{\varphi }{\mathrm{argmax}}\int P_{\theta }(h,v)log{Q}_{\varphi }(h|v)\mathrm{d}h \\ =\underset{\varphi }{\mathrm{argmax}}\int \underset{与\varphi 无关}{\underbrace{P_{\theta }(v)}}{P}_{\theta }(h|v)log{Q}_{\varphi }(h|v)\mathrm{d}h \\ =\underset{\varphi }{\mathrm{argmax}}\int P_{\theta }(h|v)log{Q}_{\varphi }(h|v)\mathrm{d}h \\ =\underset{\varphi }{\mathrm{argmax}}\int P_{\theta }(h|v)log\left(\frac{Q_{\varphi }(h|v)}{P_{\theta }(h|v)}{P}_{\theta }(h|v)\right)\mathrm{d}h \\ =\underset{\varphi }{\mathrm{argmax}}\int P_{\theta }(h|v)log\frac{Q_{\varphi }(h|v)}{P_{\theta }(h|v)}\mathrm{d}h+\underset{与\varphi 无关}{\underbrace{\int P_{\theta }(h|v)log{P}_{\theta }(h|v)\mathrm{d}h}} \\ =\underset{\varphi }{\mathrm{argmax}}\int P_{\theta }(h|v)log\frac{Q_{\varphi }(h|v)}{P_{\theta }(h|v)}\mathrm{d}h \\ =\underset{\varphi }{\mathrm{argmin}}KL(P_{\theta }(h|v)||Q_{\varphi }(h|v)) \end{gathered}$$

也就是说在醒眠两个阶段的目标函数是不一样的，两个阶段最小化的是不一样的KL散度。在Sleep Phase无论隐变量还是观测变量都是采样得到的，没有使用训练数据，而且它的目标函数也与Wake Phase不一样，因此叫做Sleep Phase。事实上，作为一种启发式算法，醒眠算法并非一种精确的算法，是不能保证收敛的，它追求的并非准确而非效率。

类比EM算法，Wake Phase相当于M步（M步求得近似后验分布以后估计参数），而Sleep Phase相当于E步（E步求解后验分布）。