受限玻尔兹曼机（RBN）

受限玻尔兹曼机（Restricted Boltzmann Machine，简称RBM）是一种基于能量的概率图模型，也是深度学习中常用的一种神经网络模型。RBM 由两部分组成：可见层（Visible Layer）和隐藏层（Hidden Layer），层内无连接，层间全连接。以下是RBM的详细介绍：

 

结构

• 可见层：用于输入数据，每个节点代表数据的一个特征。
• 隐藏层：用于提取输入数据的特征，每个节点代表学习到的数据特征。
• 权重：连接可见层和隐藏层的权重，表示两者之间的关联强度。
• 偏置：可见层和隐藏层各自有一个偏置项，用于调整节点的激活概率。

工作原理

• 能量函数：RBM定义了一个能量函数，用于衡量可见层和隐藏层配置的能量。能量函数的一般形式为：

  E(v,h)=−∑iaivi−∑jbjhj−∑i,jviwijhjE(v,h)=−i∑​ai​vi​−j∑​bj​hj​−i,j∑​vi​wij​hj​

  其中，vv 和 hh 分别是可见层和隐藏层的状态，aa 和 bb 是偏置，ww 是权重。

   

• 概率分布：RBM通过能量函数定义了一个概率分布，用于描述可见层和隐藏层状态的联合概率：

  P(v,h)=e−E(v,h)ZP(v,h)=Ze−E(v,h)​

  其中，ZZ 是配分函数，用于归一化概率分布。

   

• 吉布斯采样：在训练过程中，RBM使用吉布斯采样来更新隐藏层和可见层的状态。这涉及到以下两个步骤：

  1. 给定可见层状态，计算隐藏层节点的激活概率，并基于这个概率随机生成隐藏层状态。
  2. 给定隐藏层状态，计算可见层节点的激活概率，并基于这个概率随机生成可见层状态。

• 对比散度（Contrastive Divergence，CD）：RBM通常使用对比散度算法来近似最大似然学习中的梯度。这是一种快速且有效的训练方法，通过几次吉布斯采样步骤来近似梯度。

特点

• 无监督学习：RBM是一种无监督学习模型，可以在没有标签数据的情况下学习数据的特征。
• 特征提取：RBM能够学习到数据的内在特征，这些特征可以用于降维、分类等任务。
• 易于扩展：RBM可以堆叠成深度信念网络（DBN），用于学习更复杂的特征表示。

应用

• 降维：RBM可以用于数据的降维，通过学习数据的低维表示来减少特征的数量。
• 协同过滤：在推荐系统中，RBM可以用于用户和物品的协同过滤，预测用户对物品的偏好。
• 深度学习：作为深度信念网络的基础，RBM在深度学习中用于预训练，帮助初始化深层网络的权重。