基于TensorFlow卷积神经网络实现手写数字识别

一.权重初始化

为了创建这个模型，我们需要创建大量的权重和篇置项。这个模型中的权重在初始化时应该加入少量的噪声来打破对称性以及避免0梯度。由于我们使用的是Relu激活函数，因此比较好的做法是用一个较小的正数来初始化偏置项，以避免神经元节点输出恒为0的问题。为了不在建立模型的时候反复做初始化操作，我们定义两个函数用来初始化。

def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

二.卷积和池化

TensorFlow在卷积和池化上有很强的灵活性。我们的卷积使用步长1，边距0的模板，保证输出和输入是同一个大小。我们的池化用简单传统的2*2大小的模板做最大池化。为了代码简洁，把一部分抽象成一个函数。

def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2