RBM 受限玻尔兹曼机

目录

---

RBM的基于CD的快速学习算法主要步骤

cd： 对比散度

• 输入：一个训练样本 x0; 隐层单元个数 m; 学习率 ϵ; 最大训练周期 T .
• 输出: 连接权重矩阵 W、可见层的偏置向量 a、隐层的偏置向量 b.

• 训练阶段:

  初始化: 令可见层单元的初始状态 v1 = x0; W、 a 和 b 为随机选取的较小数值.
  
  For t = 1, 2, · · · , T
      For j = 1, 2, · · · , m (对所有隐单元) STEP1
          计算 P (h1j = 1 | v1), 即 P (h1j = 1 | v1) = σ(bj + ∑i v1iWij);
          从条件分布 P (h1j | v1) 中抽取 h1j ∈ {
      0, 1}.
      EndFor
  
      For i = 1, 2, · · · , n (对所有可见单元) STEP2
          计算 P (v2i = 1 | h1), 即 P (v2i = 1 | h1) = σ(ai + ∑j Wijh1j);
          从条件分布 P (v2i | h1) 中抽取 v2i ∈ {
      0, 1}.
      EndFor
  
      For j = 1, 2, · · · , m (对所有隐单元) STEP3
          计算 P (h2j = 1 | v2), 即 P (h2j = 1 | v2) = σ(bj + ∑i v2iWij);
      EndFor
  
      按下式更新各个参数
      – W ← W + ϵ(P (h1. = 1 | v1)v1 T − P (h2. = 1