参考:
一、简述
受限玻尔兹曼机(RBM)是一类具有两层结构、对称链接无自反馈 的随机神经网络模型, 层与层之间是全连接,层内无链接 ,也就是说是一个二部图。
RBM是一种有效的特征提取方法,常用于初始化前馈神经网络,可明显提高泛化能力。而由多个RBM结构堆叠而成的深度信念网络(DBN)能提取出更好更抽象的特征,从而用来分类。一下先从玻尔兹曼机说起,进而引出玻尔兹曼机的的改进版——受限玻尔兹曼机。
------------------------------------------------------------------------
二、玻尔兹曼机(BM)
玻尔兹曼机于1986由大神Hinton年提出,是一种 根植于统计力学的随机神经网络 。网络中的神经元是随机神经元,神经元的输出只有两种状态(未激活和激活状态),用二进制0 1表示。状态的取值根据概率统计法制决定。
BM是由随机神经元全连接组成的反馈神经网络,且对称连接,无自反馈, 包含一个可见层和一个隐层 。如下图所示:
BM 具有很强大的无监督学习能力,能够学习数据中复杂的规则,代价是训练(学习)时间很长 ,此外,不仅难以准确计算BM所表示的分布,得到服从BM所表示分布的随机样本也很困难。于是引入一种限制玻尔兹曼机RBM。
------------------------------------------------------------------------
三、受限玻尔兹曼机(RBM)
RBM具有一个可见层,一个隐层,层内无连接,层与层之间全连接,是一个二分图,如下结构。
受限玻尔兹曼机结构的特点是: 在给定可见层单元状态(输入数据)时,各隐层单元的激活条件独立 ,反过来看, 在给定隐层单元状态时,可见层单元的激活条件也是独立的 。这样,尽管RBM所表示的分布仍无法有效计算,但可通过Gibbs采样得到服从RBM所表示分布的随机样本。只要隐层单元的数目足够,RBM就能拟合任意离散分布。Hinton于2002年提出了一个RBM的快速学习算法,对比散度(Contrastive Divergence,CD)算法,促使大家对RBM的研究讨论。在应用方面,RBM模型已经成功被用来解决不同的机器学习问题,比如分类,回归,降维,高维时间序列建模,图像特征提取和协同过滤等方面。
2006年Hinton等提出了深度信念网(Deep Belief Nets,DBN),并给出了该模型的一个高效学习算法,是目前深度学习算法的主要框架,在该算法中,一个DBN模型由若干个RBM堆叠而成,训练过程由低到高逐层训练,具体如下描述:
1.最底部RBM以原始输入数据训练
2.将底部RBM抽取的特征作为顶部RBM的输入继续训练
3.重复这个过程训练尽可能多的RBM层。
由于RBM可通过CD快速训练,于是这个框架绕过直接从整体上对DBN训练的高度复杂,将DBN的训练简化为对多个RBM的训练,从而简化问题。而且,通过这种方式训练后,可以再通过传统的全局学习算法比如BP算法对网络进行微调,从而使模型收敛到局部最优点。
总的一点说,整个过程相当于我们先逐层对RBM进行训练,将模型参数初始化为较优的值,得到各层权重的初始值,再通过少量的传统学习算法进一步训练,即微调,这样,不仅解决了模型训练速度慢的问题,也取得了很好的效果。大量实验表明,通过这种方式能够产生非常好的参数初始值,大大提升模型的建模能力。 由RBM为基本结构的DBN模型是当前最有效的深度学习算法之一。