深度学习-----从零开始实现识别手写字体任务（二）卷积神经网络的层级结构

层级结构

1.数据输入层：Input layer

2.卷积层：Convolutional layer

3.激活层：Reluctant layer

4.池化层：Pooling layer

5.全连接层：FC layer

一.数据输入层：对原始数据进行初步处理

1.灰度化

图片一般由三维矩阵组成（width，height，3），其中“3”为通道数，可以理解为图片的高度。3为RGB三色通道，将3通道转化为单通道为灰度化。

2.归一化

在神经网络中经常会使用sigmoid函数当做激活函数，sigmoid函数的函数值在[0, 1]之间，当输入{20,30,40,50,60}等远大于1的数据时，经过sigmoid函数的值将会非常的接近甚至是相等，这样就会无法起到应有的训练效果，将数据归一化就可以较好的解决这个问题。而且归一化可以使神经网络更快的收敛。

二.卷积层（核心）：一种可以提取图像特征的数学运算

1.卷积核

原图像经过卷积核后得到这个图像的特征图谱。

2.卷积核的深度

卷积核的个数，单个卷积核提取图像的部分特征，这在多数情况下，特征提取是不充分的，所以通过增加卷积核的个数，提取多个图像特征。

3.卷积运算

卷积核理解成权重矩阵的话，那么卷积运算就相当于加权求和的过程。

4.步幅

卷积核每次滑动的长度。

三.激活层

上面所述的运算其实是一种线性的运算，而自然中很多的关系都是非线性的，因此，需要给上面的计算结果通过一个激活函数加一个非线性的关系。激活函数是参考了生物上神经元的机制，在生物意义上的神经元中，只有前面的树突传递的信号大于神经元的阈值时，下一个神经元才会被激活。与之类似，激活函数RELU当输入小于0时，输出为零，即失效；大于零输出则为本身。

四.池化层

 池化层是对输入的数据进行压缩，提取主要特征的过程。

最大池化：对2*2的矩阵进行扫描取最大值。

最小池化：对2*2的矩阵进行扫描取平均值。

注意：池化层的输入一般是经过激活函数的卷积层输出。

五.全连接层

卷积取的是局部特征，全连接就是把以前的局部特征重新通过权值矩阵组装成完整的图。
因为用到了所有的局部特征，所以叫全连接。