RBM受限玻尔兹曼机理解及实现

版权声明:本文为博主CSDN Rosefun96原创文章。 https://blog.csdn.net/rosefun96/article/details/78904044

引言

1、RBM简介

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2、细节

KL-Divergence: 测量两条曲线下的非重叠或发散区域,RBM的优化算法尝试最小化这些区域,以便共享权重乘以隐藏第一层的激活时,产生原始的近似值
输入。
左边是一组原始输入p的概率分布,与重构分布q并列;
在右边,他们的差异的整合。

在这里插入图片描述
贪婪算法:首先字典学习它是个非凸优化问题,多层字典学习将会变得更加复杂;另外多层字典学习的所要求解的参数大大增加,在有限的训练样本下,容易引起过拟合问题。因此文献提出类似于SAE、DBN一样,采用逐层训练学习的思想,这样可以保证网络的每一层都是收敛的。算法其实非常简单,以双层分解为例进行逐层分解。


参考:

  1. RBM 知乎
  2. 深度学习贪婪算法 CSDN
  3. A deep matrix factorization method for learning attribute representations.pdf;
  4. Greedy Deep Dictionary Learning.pdf;
  5. deeplearning 推荐
  6. beginner to RBM;

没有更多推荐了,返回首页