RBM&DBN

RBM（Restricted Boltzmann Machines）

限制玻尔兹曼机是一种统计神经网络，是基于能量的模型。
下面是限制玻尔兹曼机的结构

每一个单元（包括可见层单元和隐层单元）可以为任意的指数族单元，我们假设所有的可见单元和隐单元均为二值变量，即$\forall$ i,j ,$v_i$$\in${0,1},$h_j$$\in${0,1}。
RBM作为一个系统的能量定义为

$\theta$={$W_{ij}$,$a_i$,$b_j$}是RBM的参数，$W_{ij}$表示可见单元i与隐单元j 之间的连接权重,$a_i$表示可见单元i的偏置,$b_j$表示隐单元j 的偏置。当参数确定时,可以得到(v,h)的联合分布概率

当给定v的sample时，我们最关心的是v的分布，故这里的似然函数为

由上面的RBM的结构可以看到，每一个可见层的单元和每一个隐层都连接，但是可见层单元相互之间不连接，隐层单元也是一样。这样的结构可以带来很好的性质，
1.参数变少，易于训练。
2.可见单元之间相互独立，隐层单元之间也相互独立。这样便有第j个隐单元的激活概率为

同样的由隐层单元重构可见层单元的时候，第i个可见单元的激活概率为

于是我们的目的就是学习出$\theta$。其采用的算法为CD(contrastive divergence),其推导过程可参见 受限波尔兹曼机简介 - 张春霞。
CD算法步骤为。。。