限制玻尔兹曼机(Restricted Boltzmann Machine)学习笔记(一)

原创 2015年02月04日 23:43:49


一、限制玻尔兹曼机的感性认识

要回答这个问题大概还要从神经网络说起。
(1)人工神经网络(artificial neural network

一言以蔽之,人工神经网络用于学习一个输入到输出的映射,通常由三层组成,输入层,隐层和输出层。
各层之间的每个连接都有一个权值,人工神经网络的训练过程就是学习这个权值。典型的,可以使用随机梯度下降法。
(2)递归人工神经网络(recurrent neural network

递归人工神经网络的关键在于“递归”二字,其表现为各节点可以形成一个有向环。
可以看到,递归神经网络和普通的人工神经网络最大不同为各隐层节点之间也可以相互联系了,并组成有向环 的形式。
递归神经网络的种类有很多,上图所示为"simple recurrent networks" (SRN)。
Hopfield网络也是一种递归神经网络。
(3)玻尔兹曼机
A graphical representation of an example Boltzmann machine.
如图所示为一个玻尔兹曼机,其蓝色节点为隐层,白色节点为输入层。
玻尔兹曼机和递归神经网络相比,区别体现在以下几点:
1、递归神经网络本质是学习一个函数,因此有输入和输出层的概念,而玻尔兹曼机的用处在于学习一组数据的“内在表示”,因此其没有输出层的概念。
2、递归神经网络各节点链接为有向环,而玻尔兹曼机各节点连接成无向完全图。
(4)限制玻尔兹曼机

限制玻尔兹曼机和玻尔兹曼机相比,主要是加入了“限制”(这不是废话么)。
所谓的限制就是,将完全图变成了二分图。如图所示,限制玻尔兹曼机由三个显层节点和四个隐层节点组成。
限制玻尔兹曼机可以用于降维(隐层少一点),学习特征(隐层输出就是特征),深度信念网络(多个RBM堆叠而成)等。


二、Hopfield网络及能量函数

再谈RBM之前,必须说一下Hopfield网络。
Hopfield网络是一种循环型神经网络,如下图:

对于Hopfield神经网络来说,当信号输入后,各神经元的状态会不断变化,最后趋于稳定,或呈现周期性震荡。
假设神经元i连接其它神经元j的权重为w(i,j),则在Hopfield中,有W(i,i)=0,即神经元不与自己连接,W(i,j)=W(j,i),即权重矩阵对称。
以上图所示,假设输入的变量为(a1,a2,a3,a4),而在每一轮t神经元i的状态用y(i,t)来表示,再假设神经元激发函数为sigmod,其中激发界用t(i)表示,则容易得到以下递推式
y(i,0)=sigmod(ai-t(i))
Hopfield模型(公式1)
这个公式什么意思呢?简而言之就是这个神经元在下一轮是否激发,依赖原始的输入和其它神经元的反馈输入,这样整个神经元的状态就呈现一个随着时间进行变化的过程,而如果权值给定、输入给定,这个变化过程是确定的。
假设对于任意输入,对于任意节点i我们在有限的时刻内能得到y(i,t+1)=y(i,t),我们就说这个神经网络是稳定的,可以证明,当神经元激发函数是有界连续的,且神经网络各节点连接权重对阵,则Hopfield网络一定是稳定的。
对于一个稳定的神经网络。
我们定义“能量”的增量为以下式子:
Hopfield模型
则根据公式1可以推导出来,节点j的能量增量是小于0的。(如何证明?考虑y取值只能是0或1,再考虑sigmod函数特性很容易得到)
所以我们就能把能量的增量再时间域上进行积分,得到每个节点的能量,再把所有节点的能量加起来,看得到这个神经网络的能量。
推导出来的结果是这样子的:
E = -\frac12\sum_{i,j}{w_{ij}{s_i}{s_j}}+\sum_i{\theta_i\ s_i}
可以看到,神经网络的变化过程,实质是一个能量不断减少的过程,最终达到能量的极小值点,也就是稳态。

总结一下就是:递归神经网络由于其结构特性,神经元状态可随时间而变化,将此过程可以抽象成能量递减过程,变化最终会导致稳态,此稳态为能量极小值点。


(未完待续)


参考资料:
http://en.wikipedia.org/wiki/Restricted_Boltzmann_machine
http://wenku.baidu.com/view/735f472a647d27284b7351dd.html
http://www.zhihu.com/question/22981388/answer/23259540
http://blog.sina.com.cn/s/blog_631475300100oo93.html







随机神经网络之玻尔兹曼机

一、引言 在机器学习以及优化组合问题中,最常用的方法就是梯度下降法。比如BP神经网络,多层感知器的神经元(units)越多,对应的权矩阵也就越大,每个权可视为一个自由度或者变量。我们知道自由度越高,变...
  • LG1259156776
  • LG1259156776
  • 2015-08-10 11:09:54
  • 15747

机器学习之RBM(Restricted Boltzmann Machines,受限玻尔兹曼机)

本人最近在学习DBN(Deep Belief Net,深度信念网络),通过学习才知道有RBM这个东西。因为我所要用到的DBN是有RBM通过累加堆叠组成的,要学习DBN就要弄明白RBM的原理。我就在此说...
  • u014487025
  • u014487025
  • 2016-06-20 17:39:31
  • 3774

Boltzmann机

http://www6.zzu.edu.cn/shili/jxzy/ICtrl/text/chapter6/section3/6.3.3.htmBoltzmann机网络结构和工作方式       Bo...
  • AIamateur
  • AIamateur
  • 2010-04-29 17:31:00
  • 531

限制玻尔兹曼机(RBM)

1.限制玻尔兹曼机的感性认识要回答这个问题大概还要从神经网络说起。(1)人工神经网络一言以蔽之,人工神经网络用于学习一个输入到输出的映射,通常由三层组成,输入层,隐层和输出层。各层之间的每个连接都有一...
  • a819825294
  • a819825294
  • 2016-12-12 16:06:28
  • 3988

简单易学的机器学习算法——受限玻尔兹曼机RBM

yi
  • google19890102
  • google19890102
  • 2016-07-26 18:52:51
  • 7285

受限玻尔兹曼机(Restricted Boltzmann Machine)分析

受限玻尔兹曼机,简称RBM(下文中统一用RBM表示)。写这篇博客的原因是,下午看到吴恩达在Coursera上的Deep Learning课程中,跟Hinton的40分钟的采访,问Hinton他在AI中...
  • g11d111
  • g11d111
  • 2017-08-17 21:08:24
  • 2351

受限Boltzmann机(Restricted Boltzmann Machine)

起源:Boltzmann神经网络 Boltzmann神经网络的结构是由Hopfield递归神经网络改良过来的,Hopfield中引入了统计物理学的能量函数的概念。 即,cost函数由统计物理学...
  • GarfieldEr007
  • GarfieldEr007
  • 2016-04-01 18:43:50
  • 2616

受限制玻尔兹曼机RBM原理简介

引言 受限玻尔兹曼机RBM在深度学习领域一直有重要的应用,之前一直没有接触过RBM,觉得太复杂,公式太多,这几天在Google上找到些好的turtorial,可以在这里做一个总结。 玻尔兹曼机...
  • u010223750
  • u010223750
  • 2017-03-10 12:49:58
  • 6762

Restricted Boltzmann Machine(限制玻尔兹曼机)

RBM原理.玻尔兹曼机最初是作为一种广义的“联结主义”引入,用来学习向量上的任意概率分布。联结主义(connectionism)的中心思想是,当网络将大量简单计算单元连接在一起时可以实现智能的行为。分...
  • qq_39388410
  • qq_39388410
  • 2017-10-21 20:41:48
  • 1515

Deep Learning(深度学习)学习笔记整理系列之(六)

Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 201...
  • zouxy09
  • zouxy09
  • 2013-04-10 10:38:40
  • 266077
收藏助手
不良信息举报
您举报文章:限制玻尔兹曼机(Restricted Boltzmann Machine)学习笔记(一)
举报原因:
原因补充:

(最多只允许输入30个字)