Tensorflow笔记之卷积神经网络简介

 卷积神经网络和全链接神经网络的区别就是神经网络中相邻两层的连接方式。

使用全连接神经网络处理图像的最大问题是全连接层的参数太多，对弈MNIST数据集，每一张图的大小是28x28x1，假设第一层的隐藏节点数为500个，那么一个全连接层的神经网络将有28x28x500+500=392500个参数当图片更大时，参数会更多，参数增多会导致计算变慢，同时会导致过拟合。所以需要一个合理的结构来减少神经网络的参数。卷积神经网络结构如下所示：

在卷积神经网络的前几层，每一层的节点都被组织成一个三维矩阵，比如处理CIFAR-10数据集的图片时，可以将输入层组织成一个32x32x3的三维矩阵，一个卷积神经网络主要由以下5种结构组成：

    1 输入层。输入层是整个神经网络的输入，在处理图像的卷积神经网络中，它一般代表了一张图像的像素矩阵。比如在上图中，左边的数据代表一张图片，长和宽代表图像的长和宽，三维代表图像的深度为3.从输入层开始，卷积神经网络通过不同的神经网络结构将上一层的三维矩阵转化为下一层的三维矩阵，直到最后的全连接层。

2 卷积层。和传统的全链接层不同，卷积层中每一个节点的输入知识上一层神经网络的一小块，这个小块用的大小有3x3,5x5，卷积层试图将神经网络中的每一小块进行更加深入的分析从而抽象程度更高的特征。一般来说通过卷积层处理过的节点矩阵会变得更深。

3池化层。其不会改变三维矩阵的深度，但是它可以缩小矩阵的大小。被认为是将一张分辨率较高的图片转化为分辨率较低的图片，通过池化层可以进一步缩小最后全链接层中节点个数，达到减少参数的目的。

4全链接层，神经网络的最后一般会有一到两层全连接层给出最后的分类结果。经过几轮卷积神经网络和池化层处理后，可以认为图像信息已经被抽象成了信息含量更高的特征。我们可以将卷积层和池化层看成是特征自动提取的过程，使用全链接层进行分类。

5softmax 得到当前样例属于不同种类的概率分布。