python tensorflow学习（三）实战！lenet-5+mnist数据集

实战！lenet-5+mnist数据集

这两天真的超忙啊，一转眼三天没更了，满满的罪恶感+ing。
废话不多说，从这篇开始进入实战篇，接下来将使用tensorflow对卷积神经网络历史上最为经典的模型从lenet-5一直到ResNet进行实现。
大纲：

• MNIST数据集
• Lenet-5网络模型

MNIST数据集

对于卷积神经网络，MNIST手写体的识别就是入门的“hello world”，是最为简单的一个图片数据集。
MNIST数据集是一个手写数字数据库，他有60000个训练样本集和10000个测试样本集，下载地址为：http://yann.lecun.com/exdb/mnist/
下载之后包括4个文件：

从上往下依次为测试图像、测试标签、训练图像、训练标签
，对于MNIST数据集，tensorflow中有已经封装好的函数来读取该数据集。

from tensorflow.examples.tutorials.mnist import input_data
mnist_data_set = input_data.read_data_sets('MNIST_data', one_hot=True)

MNIST数据集图片的像素为28×28，为单通道。标签为1-10，对应0-9十个数字。

Lenet-5网络模型

1989年，LeCun提出第一个真正意义上的卷积神经网络，经过后来的改良，该模型能被应用于识别手写体字符等其他应用，LeCun提出了权值共享（weight sharing）和特征图（feature map）的概念并被流传至今，成为了卷积模块的基础。LeNet-5是其提出的第三种卷积神经网络模型，其模型结构如下：

整个网络模型分为2个卷积模块、2个池化模块、2个全连接模块，最后再连接一个softmax模块，输出层为10个节点，分别代表1到9共10个数字。
首先定义占位符：

# 定义占位符
x = tf.placeholder('float32', [None, 784])
y = tf.placeholder('float32', [None, 10])

把输入向量变为28×28的矩阵形式：

# 把数据转换为矩阵形式
x_image = tf.reshape(x, [-1, 28, 28, 1])

对于卷积核和偏置量的初始化，为了减少代码冗余，我们在这里写一个初始化的函数

# 初始化卷积核
def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.