tensorflow基础学习—卷积神经网络与全连接神经网络

如图中显示的全连接神经网络结构和卷积神经网络的结构直观上差异比较大，但实际上它们的整体架构是非常相似的。从图中可以看出，卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样， 卷积神经网络中的每一个节点都是一个神经元。在全连接神经网络中，每相邻两层之间的节点都有边相连，于是一般会将每一层全连接层中的节点组织成一列，这样方便显示连接结构。而对于卷积神经网络，相邻两层之间只有部分节点相连，为了展示每一层神经元的维度，一般会将每一层卷积层的节点组织成一个三维矩阵。

除了结构相似，卷积神经网络的输入输出以及训练流程与全连接神经网络也基本一致。以图像分类为例，卷积神经网络的输入层就是图像的原始像素，而输出层中的每一个节点代表了不同类别的可信度。这和全连接神经网络的输入输出是一致的。损失函数以及参数的优化过程也都适用于卷积神经网络。在TensorFlow 中训练一个卷积神经网络的流程和训练一个全连接神经网络没有任何区别。卷积神经网络和全连接神经网络的唯一区别就在于神经网络中相邻两层的连接方式。

使用全连接神经网络处理图像的最大问题在于全连接层的参数太多。对于MNIST 数据，每一张图片的大小是28 ×28 × l ，其中28 ×28 为图片的大小，× l 表示图像是黑白的，只一个色彩通道。假设第一层隐藏层的节点数为500 个，那么一个全链接层的州经网络将
有28 ×28 × 500+500 =392500 个参数。当图片更大时，比如在CIFAR-10 数据集中，图片的大小为32 × 32 × 3 ，其中32×32 表示图片的大小，×3 表示图片是通过红绿蓝三个色彩通道( channel ）表示的。这样输入层就有3072 个节点，如果第一层全连接层仍然是500 个节点，那么这一层全链接神经网络将有3072x500+500=150 万个参数。参数增多除了导致计算速度减慢，还很容易导致过拟合问题。所以需要一个更合理的神经网络结构来有效地减少神经网络中参数个数。卷积神经网络就可以达到这个目的。

在卷积神经网络的前几层中，每一层的节点都被组织成一个三维矩阵。比如处理CIFAR-10 数据集中的图片时，可以将输入层组织成一个32× 32 尬的三维矩阵。图虚线部分展示了卷积神经网络的一个连接示意图，从图中可以看出卷积神经网络中前几层中
每一个节点只和上一层中部分的节点相连。一个卷积神经网络主要由以下5 种结构组成：

输入层：输入层是整个神经网络的输入， 在处理图像的卷积神经网络中，它一般代表了一张图片的像素矩阵。比如在图6-7中， 最左侧的三维矩阵就可以代表一张图片。其中三维矩阵的长和宽代表了图像的大小，而三维矩阵的深度代表了图像的色彩通道( channel ）。比如黑白图片的深度为l ，而在RGB 色彩模式下，图像的深度为3 。从输入层开始， 卷积神经网络通过不同的神经网络结构将上一层的三维矩阵转化为下一层的三维矩阵， 直到最后的全连接层。

卷积层：从名字就可以看出，卷积层是一个卷积神经网络中最为重要的部分。和传统全连接层不同， 卷积层中每一个节点的输入只是上一层神经网络的一小块，这个小块常用的大小有3 × 3 或者5 × 5 。卷积层试图将神经网络中的每一小块进行更加深入地分析从而得到抽象程度更高的特征。一般来说，通过卷积层处理过的节点矩阵会变得更深，所以在图6-7 中可以看到经过卷积层之后的节点矩阵的深度会增加。

池化层（ Pooling ）：池化层神经网络不会改变三维矩阵的深度，但是它可以缩小矩阵的大小。池化操作可以认为是将一张分辨率较高的图片转化为分辨率较低的图片。通过池化层，可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络中参数的目的。

全连接层。如图6-7 所示，在经过多轮卷积层和池化层的处理之后，在卷积神经网络的最后一般会是由1 到2 个全连接层来给出最后的分类结果。经过几轮卷积层和池化层的处理之后，可以认为图像中的信息已经被抽象成了信息含量更高的特征。我们可以将卷积层和池化层看成自动图像特征提取的过程。在特征提取完成之后，仍然需要使用全连接层来完成分类任务。

Softmax 层:softmax 层主要用于分类问题。通过Softmax层，可以得到当前样例属于不同种类的概率分布情况。