26 sigmoid Belief Network

26 Sigmoid Belief Network

26.1 背景介绍

什么是Sigmoid Belief Network？Belief Network等同于Bayesian Network，表示有向图模型。sigmoid指sigmoid函数，具体表示为 σ ( x ) = 1 1 + e x p { − x } \sigma(x) = \frac{1}{1 + exp{\lbrace -x \rbrace}} σ(x)=1+exp{−x}1​。

具体举一个Sigmoid Belief Network的例子：

一个Sigmoid Belief Network如上图所示，由一个数据层与多个隐藏层组成，每层之间都没有直接的连接关系。

我们可以通过sigmoid函数从根节点将每个节点的概率分布进行求解，例如我们求解$S_i$节点的概率分布，因为我们一般将节点的值设置为0/1变量，所以可以写作：
$$\{\begin{array}{l}P(S_i=1|S_j:j<i)=\sigma ({\sum }_{j<i}{w}_{ji}{S}_j)\\ P(S_i=0|S_j:j<i)=1-P(S_i=1)=\sigma (-{\sum }_{j<i}{w}_{ji}{S}_j)\end{array}$$
我们也可以将其表达为一个整式：
$$\{\begin{array}{l}P(S_i|S_j:j<i)=\sigma (S_i^{\ast }{\sum }_{j<i}{w}_{ji}{S}_j)\\ S_i^{\ast }=2S_i-1\end{array}$$
即使我们这样可以获得样本，但是我们发现其实后验还是求不出来的，以为隐藏层之间并非相互独立，关系非常的麻烦。

26.2 通过log-likelihood推断SBN的后验

首先根据上文我们可以得到两个条件：
$$\{\begin{array}{l}P(S_i|S_j:j<i)=\sigma (S_i^{\ast }{\sum }_{j<i}{w}_{ji}{S}_j)\\ P(S)={\prod }_{i=1}^{|S|}P(S_i|S_j:j<i)=P(V,H)\end{array}$$
这两个条件分别表示我们的条件概率与联合概率，通过这两个公式我们就可以对log-likelihood进行如下变换：
$$\begin{array}{rl}log-likelihood& =\frac{1}{N}\sum _{v\in V}\log P(v)\\ {\nabla }_{w_{ji}}\log P(v)& =\frac{1}{P(v)}{\nabla }_{w_{ji}}P(v)\\ & =\frac{P(H|v)}{P(H,v)}{\nabla }_{w_{ji}}\sum _{H}P(v,H)\\ & =\sum _H\frac{P(H|v)}{P(H,v)}{\nabla }_{w_{ji}}P(v,H)\\ & =\sum _{S}P(S|v)\frac{1}{P(S)}{\nabla }_{w_{ji}}P(S)\\ & =\sum _{S}P(S|v)\frac{{\nabla }_{w_{ji}}{\prod }_{k=1}^{|S|}P(S_k|S_j:j<k)}{{\prod }_{k=1}^{|S|}P(S_k|S_j:j<k)}\end{array}$$
答疑：

1. 对于上面为什么$P(H,v)=P(S)$：因为v在这里表示的是一个随机变量，所以$P(H,v)$也可以写成$P(H,V=v)$
2. 上文中为什么${\sum }_{H}P(H|v)⟺{\sum }_{S}P(S|v)$，因为这里$S$表示联合概率分布实际上$P(S|v)$应该表达为$P(H,v|v)$，但是$P(H,v|v)⟺P(H|v)$，所以没问题

因为上文中$P(S)$中实际只有一项与$w_{ji}$相关，所以可以的得到：
$$\begin{array}{rl}{\nabla }_{w_{ji}}\log P(v)& =\sum _{S}P(S|v)\frac{{\nabla }_{w_{ji}}P(S_i|S_j:j<i)}{P(S_i|S_j:j<i)}\\ & =\sum _{S}P(S|v)\frac{{\nabla }_{w_{ji}}\sigma (S_i^{\ast }{\sum }_{j<i}{w}_{ji}{S}_j)}{\sigma (S_i^{\ast }{\sum }_{j<i}{w}_{ji}{S}_j)}\\ & =\sum _{S}P(S|v)\frac{\sigma (S_i^{\ast }{\sum }_{j<i}{w}_{ji}{S}_j)\cdot \sigma (-S_i^{\ast }{\sum }_{j<i}{w}_{ji}{S}_j)\cdot S_i^{\ast }\cdot S_j}{\sigma (S_i^{\ast }{\sum }_{j<i}{w}_{ji}{S}_j)}\\ & \\ & =\sum _{S}P(S|v)\sigma (-S_i^{\ast }\sum _{j<i}{w}_{ji}{S}_j)\cdot S_i^{\ast }\cdot S_j\end{array}$$
所以我们可以得到：
$${\nabla }_{w_{ji}}log-likelihood=\frac{1}{N}\sum _{v\in V}\sum _S\left[P(S|v)\sigma (-S_i^{\ast }\sum _{j<i}{w}_{ji}{S}_j)\cdot S_i^{\ast }\cdot S_j\right]$$
但是这个东西我们求不出来，为什么呢？因为这里面有$P(S|v)$，也就是后验。由于SBN图的性质，隐节点之间并不相互独立，所以没法求解。我们其实也可以通过MCMC进行求解，我们可以把公式转换为（常数项都删掉）：
$${\nabla }_{w_{ji}}log-likelihood=E_{H\backsim P(S|v),v\backsim P_{data}}\left[\sigma (-S_i^{\ast }\sum _{j<i}{w}_{ji}{S}_j)\cdot S_i^{\ast }\cdot S_j\right]$$
但是由于后验过于复杂，所以MCMC只能完成节点较少的SBN。

26.3 醒眠算法——Wake Sleep Algorithm

醒眠算法实际上是求解SBN的一个启发式算法，什么是启发式算法呢？就是不求精确，但求能求解出来。

为了实现该算法，我们首先要对我们的图增加一些条件，做出一些假设如下图：

我们将所有节点之间的连接$w_{ji}$做出其反向连接，并取名为$R_{ji}$。

醒眠算法正如其名，分为两个步骤：

1. wake：从下往上（图中蓝色部分），通过已知条件（训练数据）对$H$进行采样，假定反向图的参数为$\varphi$（已知），我们可以通过分布$q_{\varphi }(H|v)$求得sleep需要用的参数$\theta$
2. sleep：从上往下（图中黑色部分），根据wake步得到的样本数据对$v$采样，通过分布$P_{\theta }(v,H)$求取下一个wake步需要用的参数$\varphi$，此时$\theta$已知（上一个wake步求到的）。

我们具体的目标函数表示为：

1. wake：通过分布$q_{\varphi }(H|v)$求$\theta$：
   $$\begin{array}{rl}{\theta }^{(i)}& =arg\underset{\theta }{\max }{E}_{q_{{\varphi }^{(i)}}(H|v)}\left[\log P_{\theta }(H,v)\right]\\ & =arg\underset{\theta }{\max }\underset{ELBO+KL}{\underbrace{\mathcal{L}(\theta )}}-H[q]\\ & =arg\underset{\theta }{\min }KL(q_{{\varphi }^{(i)}}(H|v)\Vert P_{\theta }(H,v))\end{array}$$

2. sleep:通过分布$P_{\theta }(v,H)$求$\varphi$​：
   $$\begin{array}{rl}{\varphi }^{(i+1)}& =arg\underset{\varphi }{\max }{E}_{P_{{\theta }^{(i)}}(H,v)}\left[\log q_{\varphi }(H|v)\right]\\ & =arg\underset{\varphi }{\max }\int P_{{\theta }^{(i)}}(H,v)\log q_{\varphi }(H|v)\mathrm{d}H\\ & =arg\underset{\varphi }{\max }\int P_{{\theta }^{(i)}}(v)\cdot P_{{\theta }^{(i)}}(H|v)\cdot \log \left(\frac{q_{\varphi }(H|v)}{P_{{\theta }^{(i)}}(H|v)}{P}_{{\theta }^{(i)}}(H|v)\right)\mathrm{d}H\\ & =arg\underset{\varphi }{\max }\int P_{{\theta }^{(i)}}(H|v)\cdot \log \frac{q_{\varphi }(H|v)}{P_{{\theta }^{(i)}}(H|v)}\mathrm{d}H\\ & =arg\underset{\varphi }{\min }KL(P_{{\theta }^{(i)}}(H,v)\Vert q_{\varphi }(H|v))\end{array}$$

我们发现上面的步骤和EM算法很想，但又不一样。wake形如EM算法的M-Step，sleep形如E-Step，但sleep时的目标函数是$KL(p\Vert q)$，和wake的$KL(q\Vert p)$不同，所以没法保证算法收敛。这也是为什么只能作为一个启发式算法的原因。