欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。
技术交流QQ群:433250724,欢迎对算法、技术、应用感兴趣的同学加入。
最近在复习经典机器学习算法的同时,也仔细看了一些深度学习的典型算法。深度学习是机器学习的“新浪潮”,它的成功主要得益于深度“神经网络模型”的优异效果。这个小系列打算深入浅出地记录一下深度学习中常用的一些算法。第一篇先写一下“受限玻尔兹曼机”RBM,会分若干个小段写,这是第一段,关于RBM的基本概念。本文很多推导是参考了资料[7],感谢分享,不过我会重新手写一遍。
网上有很多关于RBM的介绍,但是很多写的比较简略,跳过了很多细节,本文尽量追求扣一下细节的同时,做到深入浅出。推荐的参考资料可以看最后的参考文献。
需要的背景知识
要学习RBM需要的一些基本的统计学习基础,包括贝叶斯定理,随机采样方法(Gibbs sampling)等。这些可以翻阅我之前写的一些博文可以看到相关的介绍,在本文中就不具体展开了。总体来说RBM还是相对比较独立的一个算法,不需要依赖太多的先验知识。
RBM基本概念
受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)

本文介绍了深度学习中常用的受限玻尔兹曼机(RBM)的基本概念。RBM是一种无向图模型,由可见层和隐藏层组成,两层间全连接但层内无连接,形成了二分图结构。神经元为二值化状态,权重矩阵为W。由于二值化特性,RBM的训练通常使用Gibbs Sampling或对比散度(CD)方法。作者计划后续文章详述RBM的求解过程。
最低0.47元/天 解锁文章
693

被折叠的 条评论
为什么被折叠?



