DeepLearnToolbox使用总结

转自：http://blog.csdn.net/lifeitengup/article/details/10219075

 

GitHub链接：DeepLearnToolbox

 

 

DeepLearnToolbox

 

A Matlab toolbox for Deep Learning.

Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data. It is inspired by the human brain's apparent deep (layered, hierarchical) architecture. A good overview of the theory of Deep Learning theory is Learning Deep Architectures for AI

Directories included in the toolbox

NN/ - A library for Feedforward Backpropagation Neural Networks

CNN/ - A library for Convolutional Neural Networks

DBN/ - A library for Deep Belief Networks

SAE/ - A library for Stacked Auto-Encoders

CAE/ - A library for Convolutional Auto-Encoders

util/ - Utility functions used by the libraries

data/ - Data used by the examples

tests/ - unit tests to verify toolbox is working

For references on each library check REFS.md

Setup

1. Download.
2. addpath(genpath('DeepLearnToolbox'));

Windows下把文件夹加入 path 即可

 

[plain]   view plain copy

1. %LiFeiteng   
2.   
3. path = pwd;  
4. files = dir(path);  
5.   
6. for i = 1:length(files)  
7.       
8.     if files(i).isdir          
9.         file = files(i).name;         
10.         addpath([path '/' file])  
11.         disp(['add ' file ' to path!'])  
12.     end     
13.       
14. end  

我不打算解析代码，想从代码里面学算法是stupid的；有相应的论文，readlist，talk等可以去学习。

 

DeepLearnToolbox单隐藏层NN的优化策略：mini-Batch SGD

 

[plain]   view plain copy

1. function [nn, L]  = nntrain(nn, train_x, train_y, opts, val_x, val_y)  
2. %NNTRAIN trains a neural net  
3. % [nn, L] = nnff(nn, x, y, opts) trains the neural network nn with input x and  
4. % output y for opts.numepochs epochs, with minibatches of size  
5. % opts.batchsize. Returns a neural network nn with updated activations,  
6. % errors, weights and biases, (nn.a, nn.e, nn.W, nn.b) and L, the sum  
7. % squared error for each training minibatch.  
8.   
9. assert(isfloat(train_x), 'train_x must be a float');  
10. assert(nargin == 4 || nargin == 6,'number ofinput arguments must be 4 or 6')  
11.   
12. loss.train.e               = [];  
13. loss.train.e_frac          = [];  
14. loss.val.e                 = [];  
15. loss.val.e_frac            = [];  
16. opts.validation = 0;  
17. if nargin == 6  
18.     opts.validation = 1;  
19. end  
20.   
21. fhandle = [];  
22. if isfield(opts,'plot') && opts.plot == 1  
23.     fhandle = figure();  
24. end  
25.   
26. m = size(train_x, 1);  
27.   
28. batchsize = opts.batchsize;  
29. numepochs = opts.numepochs;  
30.   
31. numbatches = m / batchsize;  
32.   
33. assert(rem(numbatches, 1) == 0, 'numbatches must be a integer');  
34.   
35. L = zeros(numepochs*numbatches,1);  
36. n = 1;  
37. for i = 1 : numepochs  
38.     tic;  
39.       
40.     kk = randperm(m);  
41.     for l = 1 : numbatches  
42.         batch_x = train_x(kk((l - 1) * batchsize + 1 : l * batchsize), :);  
43.           
44.         %Add noise to input (for use in denoising autoencoder)  
45.         if(nn.inputZeroMaskedFraction ~= 0)  
46.             batch_x = batch_x.*(rand(size(batch_x))>nn.inputZeroMaskedFraction);  
47.         end  
48.           
49.         batch_y = train_y(kk((l - 1) * batchsize + 1 : l * batchsize), :);  
50.           
51.         nn = nnff(nn, batch_x, batch_y);  
52.         nn = nnbp(nn);  
53.         nn = nnapplygrads(nn);  
54.           
55.         L(n) = nn.L;  
56.           
57.         n = n + 1;  
58.     end  
59.       
60.     t = toc;  
61.       
62.     if ishandle(fhandle)  
63.         if opts.validation == 1  
64.             loss = nneval(nn, loss, train_x, train_y, val_x, val_y);  
65.         else  
66.             loss = nneval(nn, loss, train_x, train_y);  
67.         end  
68.         nnupdatefigures(nn, fhandle, loss, opts, i);  
69.     end  
70.           
71.     disp(['epoch ' num2str(i) '/' num2str(opts.numepochs) '. Took ' num2str(t) ' seconds' '. Mean squared error on training set is ' num2str(mean(L((n-numbatches):(n-1))))]);  
72.     nn.learningRate = nn.learningRate * nn.scaling_learningRate;  
73. end  
74. end  

1.不管是在 nntrain、nnbp还是nnapplygrads中我都没看到 对算法收敛性的判断，

 

而且在实测的过程中 有观察到 epoch过程中 mean-squared-error有 下降-上升-下降 的走势——微小抖动在SGD中 算是正常

多数还都是在下降（epoch我一般设为 10-40，这个值可能偏小；Hinton 06 science的文章代码记得epoch了200次，我跑了3天也没跑完）

在SAE/CNN等中 也没看到收敛性的判断。

2.CAE  没有完成

3.dropout的优化策略也可以选择

 

我测试了 SAE CNN等，多几次epoch(20-30)，在MNIST上正确率在 97%+的样子。

其实cost-function 可以有不同的选择，如果使用 UFLDL的优化方式(固定的优化方法，传入cost-function的函数句柄)，在更改cost-function上会更自由。

 

可以改进的地方：

1. mini-Bathch SGD算法 增加收敛性判断

2.增加 L-BFGS/CG等优化算法

3.完善CAE等

4.增加min KL-熵的 Sparse Autoencoder等

5.优化算法增加对 不同cost-function的支持

转载于:https://www.cnblogs.com/retrieval/articles/3452287.html