Deeplearning Toolbox中CNN代码的修改--增加下采样层偏置

    前几天学习了Deeplearning Toolbox中关于CNN的那部分代码，发现这个Toolbox的关于CNN的实现与经典的LeNet-5的实现有下面几点不同： 

1. 在下采样层，在计算前一层的神经元之和后没有使用到偏置；
2. 在下采样层，在计算前一层的神经元之和后没有使用到系数；
3. 在下采样层，没有使用Sigmoid函数进行激活

    因此，在学习了CNN的代码后，就要进行修改了。

    在Toolbox中，CNN主要有四个部分组成，cnnsetup.m用于设置CNN的结构和初始化参数，cnnff用于计算前向过程，cnnbp用于计算各层的delta和每一个参数的梯度，cnnapplaygrads使用梯度下降算法计算更新每一个参数。

    因此，每添加一个参数或者添加激活函数，都需要在相应的修改者四个文件中的部分。主要步骤如下：

1. 在cnnsetup.m文件中添加相应的参数初始值；
2. 在cnnff.m文件中添加该参数在前向过程中需要加入的计算；
3. 在cnnbp.m文件中添加该参数对于delta计算的部分，已经该参数的梯度计算部分；
4. 在cnnapplaygrads.m文件中添加更新该参数的部分。

---

---

    根据《Notes on Convolutional Neural Networks》中，关于CNN的下采样层的偏置和推导，可以知道，单独添加下采样层并不会影响到下一层和前一层的delta的计算，也不会影响其他参数的梯度的计算，比较容易实现，因此，考虑添加下采样层偏置。

一.增加下采样层的偏置

    在cnnsetup.m文件中，已经初始化了下采样层的偏置：

    

    在cnnff.m文件中，添加下面的代码：

    在cnnbp.m文件中，添加下面的代码

    在cnnapplaygrads.m文件中，添加下面的代码：

     在进行5次的迭代之后，出现的结果如下：

     进行10迭代后的结果如下：

   下一步就是增加下采样层的系数。