受限玻尔兹曼机(RBM)学习笔记(六)对比散度算法

原创 2014年02月18日 14:42:43

        
       去年 6 月份写的博文Yusuke Sugomori 的 C 语言 Deep Learning 程序解读是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记,当时对其中涉及的算法原理基本不懂。近日再次学习 RBM,觉得有必要将其整理成笔记,算是对那个代码的一个补充。


 目录链接

(一)预备知识

(二)网络结构

(三)能量函数和概率分布

(四)对数似然函数

(五)梯度计算公式

(六)对比散度算法

(七)RBM 训练算法

(八)RBM 的评估




作者: peghoty 

出处: http://blog.csdn.net/itplus/article/details/19408143

欢迎转载/分享, 但请务必声明文章出处.


版权声明:本文为博主原创文章,未经博主允许不得转载。

[Deeplearning]对比散度算法(CD算法)

本篇博文是对基于能量的模型和波尔兹曼机关于对比散度算法的总结。对比散度算法(Contrastive Divergence)尽管利用Gibbs采样,我们可以得到对数似然函数关于未知参数梯度的近似,但是通...
  • qian2729
  • qian2729
  • 2016年01月19日 15:23
  • 8321

受限玻尔兹曼机(RBM)以及对比散度(CD)

1. RBM 的提出BM 的缺点: 计算时间漫长,尤其是无约束自由迭代的负向阶段; 对抽样噪音敏感; 流行软件的不支持; 受限玻尔兹曼机(Restricted Boltzmann Machine,简称...
  • lanchunhui
  • lanchunhui
  • 2016年11月11日 00:47
  • 1130

深度学习方法:受限玻尔兹曼机RBM(四)对比散度contrastive divergence,CD

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、技术、应用感兴趣的同学加入。 上篇讲到,如果用Gibb...
  • xbinworld
  • xbinworld
  • 2015年12月31日 22:29
  • 8345

DL:RBM学习算法——Gibbs采样、变分方法、对比散度、模拟退火

RBM学习方法 当前在对RBM 的研究中,典型的学习方法有Gibbs 采样(Gibbs sampling)算法,变分近似方法(variational approach),对比散度(contrast...
  • oMengLiShuiXiang1234
  • oMengLiShuiXiang1234
  • 2015年10月31日 19:24
  • 4462

[DeepLearning]如何使用对比散度(How to use Contrastive Divergence)

假设可见层和隐藏层单元都是二值的。学习的目的是针对训练数据构建一个好的生成模型。更新隐藏层假设隐藏层单元是二值的,而且使用的是CD1CD_1,隐藏层单元在通过数据向量驱动得到时应该具有随机的二值状态。...
  • qian2729
  • qian2729
  • 2016年01月20日 14:47
  • 1081

受限玻尔兹曼机(RBM)以及对比散度(CD)

1. RBM 的提出BM 的缺点: 计算时间漫长,尤其是无约束自由迭代的负向阶段; 对抽样噪音敏感; 流行软件的不支持; 受限玻尔兹曼机(Restricted Boltzmann Machine,简称...
  • lanchunhui
  • lanchunhui
  • 2016年11月11日 00:47
  • 1130

深度学习方法:受限玻尔兹曼机RBM(三)模型求解,Gibbs sampling

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、技术、应用感兴趣的同学加入。 本篇重点讲一下RBM模型...
  • xbinworld
  • xbinworld
  • 2015年12月19日 08:56
  • 7792

[Deeplearning]对比散度算法(CD算法)

本篇博文是对基于能量的模型和波尔兹曼机关于对比散度算法的总结。对比散度算法(Contrastive Divergence)尽管利用Gibbs采样,我们可以得到对数似然函数关于未知参数梯度的近似,但是通...
  • qian2729
  • qian2729
  • 2016年01月19日 15:23
  • 8321

受限玻尔兹曼机(RBM)+对比散度算法(CD-k)

受限玻尔兹曼机(RBM)+对比散度算法(CD-k) 主要内容: 受限玻尔兹曼机(RBM)基本原理 受限玻尔兹曼机(RBM)训练过程——对比散度算法(CD-k) 1. 受限玻尔兹曼机(RBM)基本原...
  • zhihua_oba
  • zhihua_oba
  • 2017年04月06日 22:44
  • 862

深度学习方法:受限玻尔兹曼机RBM(四)对比散度contrastive divergence,CD

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。  技术交流QQ群:433250724,欢迎对算法、技术、应用感兴趣的同学加入 上篇讲到,如果用Gib...
  • liuheng0111
  • liuheng0111
  • 2016年10月25日 15:11
  • 255
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:受限玻尔兹曼机(RBM)学习笔记(六)对比散度算法
举报原因:
原因补充:

(最多只允许输入30个字)