[Deeplearning]对比散度算法（CD算法）

本篇博文是对基于能量的模型和波尔兹曼机关于对比散度算法的总结。

对比散度算法(Contrastive Divergence)

尽管利用Gibbs采样，我们可以得到对数似然函数关于未知参数梯度的近似，但是通常情况下，需要使用较大的采样步数，这使得RBM的训练效率仍然不高，尤其当观测数据的特征维数较高时。2002年Hinton提出了RBM的一个快速学习算法，对比散度算法(Contrastive Divergence)。与Gibbs采样不同，Hinton指出，当使用训练数据初始化$v_0$时，我们仅需要使用$k$（通常$k＝1$）步Gibbs采样就可以得到足够好的近似。在CD算法一开始，可见单元的状态被设置成一个训练样本，并利用以下公式计算隐藏层单元的二值状态，在所有隐藏单元状态确定了之后，根据下面公式2来确定每个可见单元取值为1的概率。进而得到可见层的一个重构。然后将重构的可见层作为真实的模型带入RBM的$\Delta$中，就可以进行梯度下降算法了。
$p(h_i=1|v)=sigmoid(c_i + W_iv)$
$p(v_j=1|h)= sigmoid(b_j + W_j'h)$

RBM基于CD的快速学习算法主要步骤如下

#输入：一个训练样本x0;隐藏层单元个数m,学习速率alpha,最大训练周期T
#输出：链接权重矩阵W,可见层的偏置向量a,隐藏层的偏置向量b
#训练阶段：初始化可见层单元的状态为v1 = x0;W,a,b为随机的较小的数值
for t = 1:T
    for j = 1:m #对所有隐藏单元
        P(h1j=1|v1)=sigmoid(bj + sum_i(v1i * Wij));
    for i = 1:n#对于所有可见单元
        p(v2i=1|h1)=sigmoid(ai + sum_j(Wij * h1j)
    for j = 1:m #对所有隐藏单元
        P(h2j=1|v2)=sigmoid(bj+sum_j(v2i*Wij))
    W = W + alpha * (P(h1=1|v1)*v1 - P(h2=1|v2)*v2)
    a = a + alpha * (v1 - v2)
    b = b + alpha*(P(h1=1|v1) - P(h2=1|v2))