RBM的学习算法

RBM定义的能量函数和概率函数为：
$E(v,h)=-\sum_i a_i v_i-\sum_j b_j h_j-\sum_{i,j}w_{ij}v_i h_j$
$p(v,h)=\frac{exp(-E(v,h))}{\sum_{v,h} exp(-E(v,h)) }$
观察数据v的log概率函数为
$\log p(v) = \log \frac{\sum_h exp(-E(v,h))}{\sum_{u,h} exp(-E(u,h))}$
$\frac{\partial \log p(v)}{\partial w_{ij}}=\frac{\sum_h(exp(-E(v,h)*v_i*h_j))}{\sum_h exp(-E(v,h))}-\frac{\sum_{u,h}(exp(-E(u,h)*u_i*h_j))}{\sum_{u,h} exp(-E(u,h))}=\sum_h p(h|v)v_ih_j-\sum_{u,h}p(u,h)u_ih_j$
可以看出，第一项为在观察数据V条件概率下i节点和j节点状态乘积的期望值，该项为正值（positive）；第二项为自由状态下i节点与j节点状态乘积的期望值，该项为负值（negative）。
计算期望值采用的是MCMC采样算法。
然而在自由状态下，第二项MCMC收敛到平衡状态的速度不快（inefficient），因为当前的平衡状态是当前w等参数决定的平衡状态，并不是最优参数对应的平衡状态。后来PCD、CD-k等高效算法被提了出来。

对比散度博文