受限玻尔兹曼机

最新推荐文章于 2018-12-06 10:38:47 发布

kalp_yp

最新推荐文章于 2018-12-06 10:38:47 发布

阅读量272

点赞数

分类专栏：深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u013539952/article/details/82717969

版权

深度学习专栏收录该内容

26 篇文章 0 订阅

订阅专栏

马尔可夫过程：将来只依赖于现在不依赖过去的过程。

马尔可夫链：时间和状态都是离散的马尔可夫过程。

BM是全连接的，RBM是可见层之间不连接，隐层之间不连接。

基于对比散度的RBM快速学习算法

训练RBM

输入：一个训练样本 $x_{0}$ ,隐层单元个数m，学习速率 $\epsilon$ ，最大训练周期T

输出：连接权重矩阵W，可见层的偏置向量m，隐层的偏置向量b

训练阶段 ：

初始化：令可见层单元的初始状态 $v_{1}$ = $x_{0}$ ;W,a,b为随机的较小数值。

For t = 1,2,...,T

For j = 1,2,...,m（对所有隐单元）

计算P( $h_{1j}=1|v_{1}$ ),即P( $h_{1j}=1|v_{1}$ )= $\sigma (b_{j}+\sum_{i}v_{1i} W_{ij})$ $\sigma$ 是带有概率的激活函数

从条件分布P( $h_{1j}|v_{1}$ )中抽取 $h_{1j}\epsilon {0,1}$

EndFor

For i = 1,2,...,n(对所有可见单元)

计算P( $v_{2i}=1|h_{1}$ ),即P( $v_{2i}=1|h_{1}$ )= $\sigma (b_{j}+\sum_{i} W_{ij}h_{1j})$ $\sigma$ 是带有概率的激活函数

从条件分布P( $v_{2i}|h_{1}$ )中抽取 $v_{2i}\epsilon {0,1}$

EndFor

For j = 1,2,...,m（对所有隐单元）

计算P( $h_{2j}=1|v_{2}$ ),即P( $h_{2j}=1|v_{2}$ )= $\sigma (b_{j}+\sum_{i}v_{2i} W_{ij})$ $\sigma$ 是带有概率的激活函数

EndFor

接下来更新各个参数

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
受限玻尔兹曼机

马尔可夫过程：将来只依赖于现在不依赖过去的过程。马尔可夫链：时间和状态都是离散的马尔可夫过程。 BM是全连接的，RBM是可见层之间不连接，隐层之间不连接。基于对比散度的RBM快速学习算法训练RBM输入：一个训练样本,隐层单元个数m，学习速率，最大训练周期T输出：连接权重矩阵W，可见层的偏置向量m，隐层的偏置向量b训练阶段：初始化：令可见层单元...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。