受限玻尔兹曼机(RBM)学习笔记(六)对比散度算法

        
       去年 6 月份写的博文Yusuke Sugomori 的 C 语言 Deep Learning 程序解读是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记,当时对其中涉及的算法原理基本不懂。近日再次学习 RBM,觉得有必要将其整理成笔记,算是对那个代码的一个补充。


 目录链接

(一)预备知识

(二)网络结构

(三)能量函数和概率分布

(四)对数似然函数

(五)梯度计算公式

(六)对比散度算法

(七)RBM 训练算法

(八)RBM 的评估




作者: peghoty 

出处: http://blog.csdn.net/itplus/article/details/19408143

欢迎转载/分享, 但请务必声明文章出处.


  • 47
    点赞
  • 88
    收藏
    觉得还不错? 一键收藏
  • 20
    评论
对比散度(Contrastive Divergence,CD算法是一种用于训练受限玻尔兹曼机RBM)的近似梯度下降算法。它通过比较两个分布之间的差异来近似计算梯度,从而更新RBM的参数。 下面是对比散度算法的详细步骤: 1. 初始化:首先,我们需要初始化RBM的可见层和隐藏层的状态。这可以通过从训练数据中抽样得到初始状态。 2. 正向传播:通过正向传播计算可见层和隐藏层之间的联合概率。可见层和隐藏层之间的联合概率可以使用RBM能量函数和激活函数来计算。 3. 反向传播:接下来,我们使用反向传播来计算可见层和隐藏层之间的负样本联合概率。在反向传播中,我们根据当前的可见层状态和RBM的权重参数来生成隐藏层状态,并根据生成的隐藏层状态再次生成可见层状态。这个过程可以通过Gibbs采样来实现。 4. 参数更新:通过比较正样本联合概率和负样本联合概率之间的差异,我们可以估计出对数似然函数的梯度。根据梯度信息,我们可以更新RBM的权重参数,使得模型能够更好地拟合训练数据。 5. 重复迭代:重复执行步骤2至步骤4,直到达到收敛或满足停止准则为止。在每一次迭代中,我们都会生成新的样本,并使用生成的样本来更新RBM的参数。 值得注意的是,对比散度算法是一种近似方法,它并不能保证找到全局最优解。然而,在实践中,对比散度算法已经被证明是有效的,并且在训练RBM和其他概率生成模型中得到广泛应用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 20
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值