用UFLDL的方法改写Denoising Autoencoder

最近在学Autoencoder的相关知识，已经学习完DFLDL的Sparse_Autoencoder相关知识，想学学Denoising Autoencoder和contractive Autoencoder。

本篇先说说Denoising Autoencoder的学习。

参考大神tornadomeet的博客（http://www.cnblogs.com/tornadomeet/p/3261247.html），我准备自己尝试第一个实验。下载完DeepLearnToolbox并且自己把代码test_example_SAE跑了一遍后发现，没有Denoising时候，识别结果error为0.10，然后加上50%的Denoising后，就出现“Too big error”的警告，原来是识别结果error超过0.16，而代码的最后一句为

assert(er < 0.16, 'Too big error')。

但是tornadomeet大神不是说加上50%的Denoising后test的结果会更好吗？仔细对比了一下发现，toolbox里面的代码网络结构是[784 100 10]的，也就是只有一层hidden layer，代码如下：

function test_example_SAE
load ../data/mnist_uint8;

train_x = double(train_x)/255;
test_x  = double(test_x)/255;
train_y = double(train_y);
test_y  = double(test_y);

addpath('../SAE')
addpath('../NN')

%%  ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN
%  Setup and train a stacked denoising autoencoder (SDAE)
rand('state',0)
sae = saesetup([784 100]);
sae.ae{1}.activation_function       = 'sigm';
sae.ae{1}.learningRate              = 1;
sae.ae{1}.inputZeroMaskedFraction   = 0.5;
opts.numepochs &