关闭

DeepLearnToolBox笔记

487人阅读 评论(0) 收藏 举报
  • nnsetup([30, 5, 30]); 创建一个input(30),hidden(5),output(30)结构的网络
function nn = nnsetup(architecture)
%NNSETUP creates a Feedforward Backpropagate Neural Network
% nn = nnsetup(architecture) returns an neural network structure with n=numel(architecture)
% layers, architecture being a n x 1 vector of layer sizes e.g. [784 100 10]

    nn.size   = architecture;
    nn.n      = numel(nn.size);

    nn.activation_function              = 'tanh_opt';   %  Activation functions of hidden layers: 'sigm' (sigmoid) or 'tanh_opt' (optimal tanh).
    nn.learningRate                     = 2;            %  learning rate Note: typically needs to be lower when using 'sigm' activation function and non-normalized inputs.
    nn.momentum                         = 0.5;          %  Momentum
    nn.scaling_learningRate             = 1;            %  Scaling factor for the learning rate (each epoch)
    nn.weightPenaltyL2                  = 0;            %  L2 regularization
    nn.nonSparsityPenalty               = 0;            %  Non sparsity penalty
    nn.sparsityTarget                   = 0.05;         %  Sparsity target
    nn.inputZeroMaskedFraction          = 0;            %  Used for Denoising AutoEncoders
    nn.dropoutFraction                  = 0;            %  Dropout level (http://www.cs.toronto.edu/~hinton/absps/dropout.pdf)
    nn.testing                          = 0;            %  Internal variable. nntest sets this to one.
    nn.output                           = 'sigm';       %  output unit 'sigm' (=logistic), 'softmax' and 'linear'

    for i = 2 : nn.n   
        % weights and weight momentum
        nn.W{i - 1} = (rand(nn.size(i), nn.size(i - 1)+1) - 0.5) * 2 * 4 * sqrt(6 / (nn.size(i) + nn.size(i - 1)));
        nn.vW{i - 1} = zeros(size(nn.W{i - 1}));

        % average activations (for use with sparsity)
        nn.p{i}     = zeros(1, nn.size(i));   
    end
end
0
0
查看评论

matlab中DeepLearnToolbox工具箱

在实现多层spiking+CNN过程中遇到很多细节问题,想找一下典型的CNN实现过程,看一下里面实现的细节,包括权值的初始化,学习率的迭代,bitch的设置...然后发现了一个好东西,恩—DeepLearnToolbox。放链接点击打开链接 然后就是下载-添加到MATLAB中 添加路径:addp...
  • Shaaron_Chan
  • Shaaron_Chan
  • 2015-05-08 10:37
  • 3042

DeepLearnToolbox及CNN代码实现

使用的代码:DeepLearnToolbox  ,下载地址:点击打开,感谢该toolbox的作者 ========================================================================================== ...
  • u012422446
  • u012422446
  • 2016-05-02 19:18
  • 439

DeepLearnToolbox

在deep learning toolbox 当中需要将代码添加在系统的环境路径当中,所以需要添加一段将该文件夹路径加入到系统的路径当中 在MATLAB当中新建一个文件,将一下的代码复制在该文件中,然后将该文件放置在 deep learn tool box文件夹下面,然后将该文件夹路径加入系统路径...
  • xuejianyong
  • xuejianyong
  • 2016-04-26 21:08
  • 164

DeepLearnToolbox使用总结

DeepLearnToolbox 使用小结
  • LiFeitengup
  • LiFeitengup
  • 2013-08-23 14:43
  • 25615

DeepLearnToolbox中SAE代码理解

Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作,不工作的那些节点可以暂时认为不是网络结构的一部分,但是它的权重得保留下来(只是暂时不更新而已),因为下次样本输入时它可能又得工作了。 训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种trikc供...
  • ls317842927
  • ls317842927
  • 2016-11-15 08:50
  • 1800

开源工具:DeepLearnToolbox

网址:https://github.com/rasmusbergpalm/DeepLearnToolbox
  • u012211748
  • u012211748
  • 2013-10-18 15:15
  • 789

Matlab对深度学习工具包DeepLearnToolbox的例子实现

最近上了深度学习的课程,由于时间问题,先用Matlab上试试手,不过看到deepLearnToolbox-master已经对Matlab版本的程序不进行维护,估计以后要多多使用别的深度学习工具了。1.首先到Github上下载deepLearnToolbox-master工具: https://gi...
  • zhenyu_zhang
  • zhenyu_zhang
  • 2017-10-17 21:13
  • 802

从DeepLearnToolbox-master看CNN

卷积神经网络 揭开卷积神经网络神秘的面纱,发现CNN也不过如此,就像对普通NN一样,第一步了解网络结构,第二步了解节点计算方法,第三步反向调节误差。就可以完全认识这个模型了。从网上看的大部分资料感觉很少有能够说清楚的,CNN确实原本也是一个比较难说明白的模型,所以从大牛的代码来看CNN会更清晰。 一...
  • wangfenghui132
  • wangfenghui132
  • 2015-12-05 23:21
  • 1174

【Deep Learning】1、AutoEncoder

Deep Learning 第一战: 完成:UFLDL教程 稀疏自编码器-Exercise:Sparse Autoencoder Code: 学习到的稀疏参数W1: 参考资料: UFLDL教程 稀疏自编码器 Autoencoders相关文章阅读: [3] Hinto...
  • LiFeitengup
  • LiFeitengup
  • 2013-08-07 14:36
  • 7909

DeepLearnToolBox中CNN源码解析

DeepLearnToolbox是一个简单理解CNN过程的工具箱,可以在github下载。为了理解卷积神经网络的过程,我特此对CNN部分源码进行了注释。公式的计算可以由上一篇blog推导得出。          注意:代...
  • Lu597203933
  • Lu597203933
  • 2015-06-20 22:36
  • 31070
    个人资料
    • 访问:49584次
    • 积分:790
    • 等级:
    • 排名:千里之外
    • 原创:28篇
    • 转载:8篇
    • 译文:0篇
    • 评论:8条
    最新评论