受限波尔兹曼(Boltzmann)机简介

最新推荐文章于 2021-05-26 11:39:17 发布

softee

最新推荐文章于 2021-05-26 11:39:17 发布

阅读量2k

点赞数

分类专栏：心得文章标签：深度学习 RBM 模型受限波尔兹曼机

本文链接：https://blog.csdn.net/softee/article/details/53121924

版权

受限波尔兹曼机(RBM)是DBN的重要组成部分，是一种两层全链接模型，其中显式层和隐藏层之间无链接。RBM用于生成式训练，通过学习算法调整参数，使输入向量的分布接近训练样本集合。学习过程涉及正负梯度计算和权重、偏移更新。

摘要由CSDN通过智能技术生成

DBN(Deep Belief Network)是深度学习中的一个重要模型，受限波尔兹曼机(RBM: Restricted Boltzmann Machine)则是DBN的主要组成部件。而RBM的含义和训练比较难以理解。这里试图以直观明白的方式来解释RBM的模型及学习算法。

RBM模型

RBM是一个由神经元组成的两层模型，分别为显式层和隐藏层，层次之间全链接，层次之内无链接，“受限”的限制就是层次之间的神经元之间无链接。如图1所示。

这里写图片描述
图1 RBM模型

用 $v$ 和 $h$ 来代表显式层和隐藏层，它们之间的链接上都有权重，可以使用一个矩阵 $W$ 来表示。 $W_{ij}$ 表示从显式层神经元 $v_i$ 到隐藏层神经元 $h_i$ 之间的边上的权重。两个层次都有一个对应的偏移向量，用 $a$ 和 $b$ 来表示。
当权重和偏移都给定的时候，以显式层为输入，隐藏层为输出，就可以建立一个输入与输出之间的关系。RBM是深度学习领域中的一个简单的生成式(Generative)训练模型。训练的目的是，把训练样本从输入层输入，可以在输出层获得维度不同的输出向量，而这些输出向量可以被视为从输入样本中提取的特征，反映了样本集中某些更“本质”的东西。
我们用 $v_i$ 和 $h_j$ 代表显式层上第 $i$ 个神经元和隐藏层上第 $j$ 个神经元的取值。按照模型的描述，给定一个输入向量 $v$ ，输出层神经元 $j$ 的值为1 的概率由以下式子给出。