目录
RBM的基于CD的快速学习算法主要步骤
cd: 对比散度
- 输入:一个训练样本 x0; 隐层单元个数 m; 学习率 ϵ; 最大训练周期 T .
- 输出: 连接权重矩阵 W、可见层的偏置向量 a、隐层的偏置向量 b.
训练阶段:
初始化: 令可见层单元的初始状态 v1 = x0; W、 a 和 b 为随机选取的较小数值. For t = 1, 2, · · · , T For j = 1, 2, · · · , m (对所有隐单元) STEP1 计算 P (h1j = 1 | v1), 即 P (h1j = 1 | v1) = σ(bj + ∑i v1iWij); 从条件分布 P (h1j | v1) 中抽取 h1j ∈ { 0, 1}. EndFor For i = 1, 2, · · · , n (对所有可见单元) STEP2 计算 P (v2i = 1 | h1), 即 P (v2i = 1 | h1) = σ(ai + ∑j Wijh1j); 从条件分布 P (v2i | h1) 中抽取 v2i ∈ { 0, 1}. EndFor For j = 1, 2, · · · , m (对所有隐单元) STEP3 计算 P (h2j = 1 | v2), 即 P (h2j = 1 | v2) = σ(bj + ∑i v2iWij); EndFor 按下式更新各个参数 – W ← W + ϵ(P (h1. = 1 | v1)v1 T − P (h2. = 1