受限玻尔兹曼机

最新推荐文章于 2024-07-05 14:54:54 发布

kyang624823

最新推荐文章于 2024-07-05 14:54:54 发布

阅读量907

点赞数

前言：Deep Learning （DL深度学习）是近几年来最火的一种机器学习方法，由Hinton（多伦多大学）提出。主要有两分支：Geoffery Hinton和Joshua Bengio这一支用RBM组成deep architecture的研究。另一支是以Yann LeCun和Andrew Ng的(deep) convolutional networks，用convolutional network组成deep architecture的研究。

这篇博文主要介绍Hinton第一分支中最基础的算法RBM（受限玻尔兹曼机），DBN（深信度神经网络）是由其叠加而成。

Deep Learning 是无监督学习，也就是自动的提取信号特征，并由浅入深。理想情况是，由深层特征能100%还原最初的原始信号。由此，我们是否想到，其间的代价函数是失真差呢？

正文：废话不多说了哈！

这里：只截取了RBM的程序片段，弄清楚这个，基本DBN就差不多了！

 
function rbm = rbmtrain(rbm, x, opts)
 
    assert(isfloat(x), 'x must be a float');
 
    assert(all(x(:)>=0) && all(x(:)<=1), 'all data in x must be in [0:1]');
 
    m = size(x, 1);
 
    numbatches = m / opts.batchsize;
 
     
 
    assert(rem(numbatches, 1) == 0, 'numbatches not integer');
 
 
 
    for i = 1 : opts.numepochs
 
        kk = randperm(m);%随机产生1-m内的数
 
        err = 0;
 
        for l = 1 : numbatches
 
            batch = x(kk((l - 1) * opts.batchsize + 1 : l * opts.batchsize), :);%这种表示法可以选取指定行列的数组（重要!）
 
             
 
            v1 = batch;
 
            h1 = sigmrnd(repmat(rbm.c', opts.batchsize, 1) + v1 * rbm.W');
 
            %Ref110,Hinton-guide-3.1里有介绍，“the hidden unit turns on if this probability is greater than a random number uniformly distributed between 0 and 1.”
 
            v2 = sigmrnd(repmat(rbm.b', opts.batchsize, 1) + h1 * rbm.W);
 
            h2 = sigm(repmat(rbm.c', opts.batchsize, 1) + v2 * rbm.W');
 
 
 
            c1 = h1' * v1;
 
            c2 = h2' * v2;
 
 
 
            rbm.vW = rbm.momentum * rbm.vW + rbm.alpha * (c1 - c2)     / opts.batchsize;
 
            rbm.vb = rbm.momentum * rbm.vb + rbm.alpha * sum(v1 - v2)' / opts.batchsize;
 
            rbm.vc = rbm.momentum * rbm.vc + rbm.alpha * sum(h1 - h2)' / opts.batchsize;
 
 
 
            rbm.W = rbm.W + rbm.vW;
 
            rbm.b = rbm.b + rbm.vb;
 
            rbm.c = rbm.c + rbm.vc;
 
 
 
            err = err + sum(sum((v1 - v2) .^ 2)) / opts.batchsize;
 
        end
 
         
 
        disp(['epoch ' num2str(i) '/' num2str(opts.numepochs)  '. Average reconstruction error is: ' num2str(err / numbatches)]);
 
         
 
    end
 
end