Deeplearning Toolbox中CNN代码学习

    最近在研究CNN的实现，在还没自己动手写之前，先看看现在比较常用的Matlab的Deeplearning Toolbox中的CNN实现。

    在Toolbox中，CNN的实现过程主要包括下面几个文件

    cnntrain.m           //用于训练CNN的m文件

    cnntest.m            //用于预测的m文件

    cnnsetup.m           //设置训练参数的m文件

    cnnnumgradcheck.m    //用于梯度检查的m文件

    cnnff.m              //用于计算前向过程的m文件

    cnnbp.m              //用于计算误差方向传递的m文件

    cnnapplygrads.m      //用于使用梯度下降算法的m文件

    在test_example_CNN.m中，Toolbox的作者使用了MNIST手写字体数据库对CNN部分进行了测试。我将从test_example_CNN.m文件开始，按照使用CNN的过程对CNN的每一部分代码进行学习。

---

---

test_example_CNN.m

function test_example_CNN
load mnist_uint8;

% 将样本调整大小，并进行归一化
train_x = double(reshape(train_x',28,28,60000))/255;
test_x = double(reshape(test_x',28,28,10000))/255;
train_y = double(train_y');
test_y = double(test_y');

%% ex1 Train a 6c-2s-12c-2s Convolutional neural network 
%will run 1 epoch in about 200 second and get around 11% error. 
%With 100 epochs you'll get around 1.2% error

rand('state',0)


% CNN的网络结构，这些只是说明卷积层和下采样层，CNN是一个结构数组
cnn.layers = {
    struct('type', 'i') %input layer
    struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer
    struct('type', 's', 'scale', 2) %sub sampling layer
    struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer
    struct('type', 's', 'scale', 2) %subsampling layer
};


opts.alpha = 1;        %BP算法的学习速率
opts.batchsize = 50;   %进行一个训练的样本的大小
opts.numepochs = 5;    %迭代次数


cnn = cnnsetup(cnn, train_x, train_y);        %设置CNN的结构
cnn = cnntrain(cnn, train_x, train_y, opts);  %训练CNN

[er, bad] = cnntest(cnn, test_x, test_y);     %测试CNN

%plot mean squared error
figure; plot(cnn.rL);
assert(er<0.12, 'Too big error');

er                   %显示错误率
save('CNN-10');      %保存神经网络

    从test_example_CNN.m文件可以看出，这个文件主要按照下面的步骤进行：

1. 将读取训练样本和测试样本；
2. 将样本恢复为图像，并归一化为0~1；</