[Deeplearning]5监测学习过程(from A practical guide to training restricted boltzmann machine)

最简单的监测学习过程的方法,就是计算数据和重建可见层数据的平方和误差。 但是平方和误差并不能很准确的表示学习的效果。 小的平法误差和并不能表示模型开始变得不好,但是大的平方误差和通常意味着模型开始变的不好了。但也有可能是学习速率、冲量、权重cost、稀疏性参数改变导致的平方和误差的大的改变。 ...

2016-01-20 17:12:29

阅读数 403

评论数 0

[Deeplearning]mini-batch大小的选择

内容来在 A Practical Guide to Training Restricted Boltzmann Machines mini-batch 的大小通常选为10-100。 为了避免在改变mini-batch大小时需要改变学习速率,所以需要将在mini-batch上得到的梯度处理min...

2016-01-20 16:51:42

阅读数 3715

评论数 0

[DeepLearning]如何使用对比散度(How to use Contrastive Divergence)

假设可见层和隐藏层单元都是二值的。学习的目的是针对训练数据构建一个好的生成模型。更新隐藏层假设隐藏层单元是二值的,而且使用的是CD1CD_1,隐藏层单元在通过数据向量驱动得到时应该具有随机的二值状态。隐藏层单元置为1的概率为 p(hj=1)=σ(bj+∑iviWij)p(h_j=1)=\sigm...

2016-01-20 14:47:22

阅读数 1656

评论数 0

[Deeplearning]对比散度算法(CD算法)

本篇博文是对基于能量的模型和波尔兹曼机关于对比散度算法的总结。对比散度算法(Contrastive Divergence)尽管利用Gibbs采样,我们可以得到对数似然函数关于未知参数梯度的近似,但是通常情况下,需要使用较大的采样步数,这使得RBM的训练效率仍然不高,尤其当观测数据的特征维数较高时。...

2016-01-19 15:23:38

阅读数 15132

评论数 1

[DeepLearning] Gibbs采样

本篇博文是对基于能量的模型和波尔兹曼机关于Gibbs采样的总结。 Gibbs采样是一种基于马尔可夫链蒙特卡罗(Markov Chain Monte Carlo,MCMC)策略的采样方法。对于一个K维随机向量X=(X1,X2,...,Xk)X=(X_1,X_2,...,X_k),假设我们无法求得关...

2016-01-19 14:59:40

阅读数 753

评论数 0

[Deeplearning]能量模型(EBM)

本篇博客是对基于能量的模型和波尔兹曼机学习的总结。1. 基于能量的模型(EBM)基于能量的模型主要有两个任务,一个是推断(Inference),在给定观察变量的情况下,找到使能量值最小的那些隐变量的配置。另一个是学习(Learning),寻找一个恰当的能量函数,使得观察变量的能量比隐变量的能量低。...

2016-01-19 14:45:25

阅读数 2965

评论数 0

[Deeplearning]RBM-hinton代码解读

解读hintonRBM的matlab实现关于RBM(受限波尔玆曼机)受限波尔玆曼机是生成式模型。输入数据可以根据概率生成出来。 RBM通常用contrastive divergence来进行训练,这是Hinton在2002年提出来的。将在后续的博文中对其进行介绍。 RBM由两层组成,一层可见层...

2016-01-18 13:49:47

阅读数 4252

评论数 2

[DeepLearning]Unsupervised feature learning for audio classification using convolutional deep belief

题目解读使用卷积深度可信网络以非监督的方式学习语音数据的特征,用学习到的特征进行分类文章特点 无监督 使用卷积受限玻尔玆曼机 多层(深度)网络 摘要第一个使用深度学习的方式处理音频数据。 使用卷积深度可信网络无监督提取音频特征 使用提取的音频特征进行了多种不同的语音分类任务简介![深度可信网络...

2016-01-13 18:36:22

阅读数 446

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭