玻尔兹曼机
文章平均质量分 69
AI强仔
人工智能爱好者、机器人爱好者
展开
-
训练RBM-Hinton系列论文《A practical guide to training Restricted Boltzmann Machines》
目录1 简介 12 RBMs和对比散度的概览 13 当使用对比散度时如何收集统计信息 23.1 更新隐藏状态 23.2 更新可见状态 34 Mini-batch大小 35 监控学习的过程 36 监控过拟合 37 学习率 38 初始化权重和偏置 49 Momentum 410 权重衰减 411 鼓励稀疏的隐藏活跃 412 隐藏单元的数量 413 单元的不同类型 514 contrastive divergence变体 515 显示在学习中发生了什么 516 使用RBM进行识翻译 2021-09-26 22:47:56 · 727 阅读 · 0 评论 -
受限玻尔兹曼机RBM
受限玻尔兹曼机RBM(Restricted Boltzmann Machines):如下图,包含隐藏单元h和可见单元v,其中只在h与v间有连接,h内部、v内部没有连接。每个可能的可见和隐藏单元组合的概率,是如下能量函数:其中具体能量函数E如下,是v部分、h部分、和v与h交互部分,共3部分构成。:Z是配分函数,是所有可见和隐藏单元组合的和,如下:...原创 2021-09-24 23:46:12 · 127 阅读 · 0 评论 -
玻尔兹曼机的学习算法--Hinton论文系列《A learning algorithm for Boltzmann machines》
1 简介本文根据1985年Hinton等人写的《A learning algorithm for Boltzmann machines》翻译总结的。即玻尔兹曼机的学习算法。连接主义认为长期的知识是简单神经单元的连接。关于大脑结构的证据和新的大规模集成电路的潜力促进了连接主义的复兴。本文描述了一个并行约束满足网络,我们称作为玻尔兹曼机(Boltzmann machines)。它有能力学习潜在的约束,即通过域内样本学习到该域内特征。该网络修改连接的权重以构建一个内部生成模型,可以生成与样本相同概率分布的样翻译 2021-09-20 14:55:21 · 1957 阅读 · 0 评论