前一章介绍了Deep Learning 中DBN算法(DL 系列一),发现当参数W经过stacked RBM 后,还需要Supervised Learning,即NN来优化参数。然而怎样去优化呢?
参见 UFLDL教程之神经网络与反向传导算法,以及Dark_Scope 的NN代码解读。
本章将结合DBN与NN的算法推导以及代码,针对重点作讲解。
代码下载:DeepLearnToolbox
当DBN每一层训练完后,参数将传给NN作监督学习。见\DBN\dbnunfoldtonn.m
具体批量梯度下降法见:
\NN\nntrain.m 其中code:44-58
for l = 1 : numbatches
batch_x = train_x(kk((l - 1) * batchsize + 1 : l * batchsize), :);
%Add noise to input (for use in denoising autoencoder)
if(nn.inputZeroMaskedFraction ~= 0)
batch_x = batch_x.*(rand(size(batch_x))>nn.inputZeroMaskedFraction);
end
batch_y = train_y(kk((l - 1) * batchsize + 1 : l * batchsize), :);
nn = nnff(nn, batch_x, batch_y);
nn = nnbp(nn);
nn = nnapplygrads(nn);
L(n) = nn.L;
n = n + 1;
end
参数更新为l=1:numbatches,(关于批量梯度下降可参见:机器学习系列一)
L(n)为n次迭代中,每次batchsize个样本残差和。
关于梯度下降法,在UFLDL中有介绍更快的算法L-BFGS和共轭梯度算法,寻找 代价函数 最小化时 的值。
参考文献:
2. Dark 的博客
3. RBM tutorial (可见RBM以及DBN的推导,NN参数优化)
注:持续更新中。。。。