Deep Learning：Contrastive Divergence的提出

最新推荐文章于 2024-06-15 18:24:25 发布
最新推荐文章于 2024-06-15 18:24:25 发布
阅读量2.5k 收藏 4
点赞数 1
分类专栏： Deep Learning 文章标签： Deep Learning 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ccemmawatson/article/details/38558215
版权

最近学习深度学习，先从RBM开始了解。

Hinton对RBM的训练算法进行改进，提出CD-K算法，故先阅读了相关论文，并翻译摘录如下，其中有部分不明白的地方，读者若知道，希望一起讨论。

该算法本用于PoE系统，但RBM也可以看作是PoE，因此在随后的论文中推广到了RBM

黄色字体部分是我自己加的公式推导过程，如有纰漏请指正。








因为公式比较多，所以用了图片格式

本翻译word版下载地址：http://download.csdn.net/detail/ccemmawatson/7755597

论文原文下载地址（英文）：http://download.csdn.net/detail/ccemmawatson/7755617



ccemmawatson
关注
专栏目录
最优传输论文（十一）：Multi-source Domain Adaptation in the Deep Learning Era: A Systematic Survey论文原理
lyy的博客
07-01 639
这里写目录标题前言Background and MotivationProblem DefinitionDatasetsDeep Multi-source Domain AdaptationLatent Space TransformationIntermediate Domain GenerationConclusion and Future Directions个人总结 前言 这是一篇综述类的文章，时间比较新，2020年。 在这项综述中，作者定义了各种MDA策略，并总结了可用于评估的数据集。作者还比较
Contrastive Divergence
qq_42275073的博客
05-26 256
参考文献： [1] Training Products of Experts by Minimizing Contrastive Divergence [2] Training Restricted Boltzmann Machines using Approximations to the Likelihood Gradient [3]Training Products of Experts by Minimizing Contrastive Divergence阅读笔记 Contrastive Dive
DBN(PoE and Contrastive Divergence)
ytlcainiao的专栏
05-14 1194
把 mputation, 675]#######training products of experts by minimizing contrastivedivergence>>这篇论文看了一遍，其实只看了一半 觉得PoE和contrastive divergence以及RBM学习算法这部分可以过了 主要意思是这样的： 1.RBM是PoE的一个特例 2.PoE可以用con
Deep Constrative Learning-A Survey（深度对比学习综述）
最新发布
qq_51744378的博客
06-15 727
孪生神经网络训练：旨在拉近同类图像的特征之间的距离、推远不同类图像之间的距离, 以获得更好的特征提取模型自监督学习：其中的实例判别任务, 将同一批次中的每个样本视作一个独立的类, 故类别的数量与该批次的样本数量相同.对比学习的公式化定义及常用网络架构：该公式的目标是最大化相同图像增广后的两个样本之间的相似度, 同时最小化不同图像经过不同增广后的特征之间的相似度及不同图像经过相同增广后的特征之间的相似度.
CD（Contrastive Divergence）
win_in_action的专栏
05-08 9191
一、DBNs是一个概率生成模型，与传统的判别模型的神经网络相对，用于建立一个观察数据和标签之间的联合分布。                             二、DBN的训练      CD(Contrastive Divergence)是log-likelihood gradient的近似算法，同时是a successful update rule for traini
对比散度contrastive divergence
wulimmya的博客
07-20 2900
CD是Hinton为了训练他的Product of Expert模型提出的，后来用于训练RBM。CD是最大似然法的近似算法，最大似然法是训练权重的最理想的方法。CD provides an approximation to the maximum likelihood method that would ideally be applied for learning the weights 训...
Deep Learning Matlab工具包
03-12
4. CD算法（Contrastive Divergence）：RBM常用的学习算法，通过近似最大似然法更新权重。 5. Gibbs采样：在RBM中进行数据生成和状态转移的一种方法。 6. 预训练和微调：RBM常用于深度学习中的预训练，为深层神经...
co-learning:learning from noisy labels with self-supervision 解读
weixin_61445075的博客
03-26 2226
co-learning:learning from noisy labels with self-supervision摘要novelties传统方法的limitationsrelated work方法实验 摘要 受到co-training的启发，作者将supervised learning和self-supervised learning 结合起来。
rbmtrain.zip_DBN代码_DBN仿真_DBN仿真代码_deep learning_深度学习 训练
07-14
3. **训练RBM**：采用 Contrastive Divergence (CD) 或 Persistent Contrastive Divergence (PCD) 算法进行训练，更新权重矩阵，使得模型能捕获数据的统计特性。 4. **堆叠RBM**：将预训练好的RBM逐层叠加，形成DBN...
Learning deep architecture for AI
10-16
- 文章进一步探讨了能量模型（Energy-Based Models）、专家产品模型（Product of Experts）、玻尔兹曼机及其变种如受限玻尔兹曼机（Restricted Boltzmann Machines, RBMs）和对比散度（Contrastive Divergence）...
RBM相关论文，起源到综述
03-14
本资源包括RBM相关的论文，针对RBM的起源和发展做出了综述
［DeepLearning]如何使用对比散度(How to use Contrastive Divergence)
qian2729的专栏
01-20 2125
假设可见层和隐藏层单元都是二值的。学习的目的是针对训练数据构建一个好的生成模型。更新隐藏层假设隐藏层单元是二值的，而且使用的是CD1CD_1，隐藏层单元在通过数据向量驱动得到时应该具有随机的二值状态。隐藏层单元置为1的概率为 p(hj=1)=σ(bj+∑iviWij)p(h_j=1)=\sigma (b_j + \sum_i v_iW_{ij}) 随机生成一个均匀分布的0到1之间的值，如果该值大
[Deeplearning]对比散度算法（CD算法）
qian2729的专栏
01-19 2万+
本篇博文是对基于能量的模型和波尔兹曼机关于对比散度算法的总结。对比散度算法(Contrastive Divergence)尽管利用Gibbs采样，我们可以得到对数似然函数关于未知参数梯度的近似，但是通常情况下，需要使用较大的采样步数，这使得RBM的训练效率仍然不高，尤其当观测数据的特征维数较高时。2002年Hinton提出了RBM的一个快速学习算法，对比散度算法(Contrastive Diverg
Deep Learning（深度学习）学习笔记整理系列之（六）
热门推荐
zouxy09的专栏
04-10 30万+
Deep Learning（深度学习）学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0 2013-04-08 声明： 1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2）本文仅供学
F-散度(F-divergence)
UESTC_C2_403的博客
07-16 1万+
在概率统计中，f散度是一个函数，这个函数用来衡量两个概率密度p和q的区别，也就是衡量这两个分布多么的相同。 1.f散度的定义 p和q是同一个空间中的两个概率密度函数，它们之间的f散度可以用如下方程表示： f函数满足两个条件：f函数是一个凸函数，并且f(1)=0。 2.f散度的特例 如果f(x)=xlogx，那就是KL散度。如果是f(x)=-logx，那就表示reverse KL散
受限玻尔兹曼机（RBM）以及对比散度（CD）
weixin_30493401的博客
11-11 315
1. RBM 的提出 BM 的缺点： 计算时间漫长，尤其是无约束自由迭代的负向阶段； 对抽样噪音敏感； 流行软件的不支持； 受限玻尔兹曼机（Restricted Boltzmann Machine,简称 RBM，以解决 BM 的学习效率过慢的严重缺陷）是由 Hinton 和 Sejnowski 于 1986 年提出的一种生成式随机神经网络（generat...
PyTorch中 tensor.detach() 和 tensor.data 的区别
梦家の博客
12-26 3万+
PyTorch0.4中，.data 仍保留，但建议使用 .detach(), 区别在于 .data 返回和 x 的相同数据 tensor, 但不会加入到x的计算历史里，且require s_grad = False, 这样有些时候是不安全的, 因为 x.data 不能被 autograd 追踪求微分 。 .detach() 返回相同数据的 tensor ,且 requires_grad=False...
深度学习：构建人工智能的基石
对比散度（contrastive divergence）是训练玻尔兹曼机的一种常用方法，它通过采样近似真实数据分布和模型分布之间的差异，以优化模型参数。 这篇文章全面概述了深度学习的基本概念、理论基础以及相关模型，对于理解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值