MNIST 数据集输出手写数字识别准确率

实现手写体 mnist 数据集的识别任务，共分为三个模块文件，分别是描述网络结构的前向传播过程文件（mnist_forward.py）、 描述网络参数优化方法的反向传播 过 程 文 件 （mnist_backward.py ）、 验 证 模 型 准 确 率 的 测 试 过 程 文 件

（mnist_test.py）。

前向传播过程文件（mnist_forward.py）

'''
在前向传播过程中，需要定义网络模型输入层个数、隐藏层节点数、输出层个数，
定义网络参数 w、偏置 b，定义由输入到输出的神经网络架构。
实现手写体 mnist 数据集的识别任务前向传播过程如下：
'''
import tensorflow as tf
INPUT_NODE = 784
OUTPUT_NODE = 10
LAYER1_NODE = 500
#设置权重
def get_weight(shape, regularizer):
    w = tf.Variable(tf.truncated_normal(shape,stddev=0.1))
#当在前向传播过程中即 forward.py 文件中，设置正则化参数 regularization为1时，则表明在反向传播过程中优化模型参数时，需要在损失函数中加入正则化项。
    if regularizer != None: tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(w))
    return w

#设置偏值项
def get_bias(shape):  
    b = tf.Variable(tf.zeros(shape))  
    return b
#前向传播定义
def forward(x, regularizer):
    w1 = get_weight([INPUT_NODE, LAYER1_NODE], regularizer)
    b1 = get_bias([LAYER1_NODE])
    #防止过拟合，x*w1+b1
    y1 = tf.nn.relu(tf.matmul(x, w1) + b1)
    w2 = get_weight([LAYER1_NODE, OUTPUT_NODE], regularizer)
    b2 = get_bias([OUTPUT_NODE])
    #  y=y1*w2+b2
    y = tf.matmul(y1, w2) + b2
    return y

由上述代码可知，在前向传播过程中，规定网络输入结点为 784 个（代表每张输入图片的像素个数）， 隐藏层节点 500 个，输出节点 10 个（表示输出为数字 0-9的十分类）。 由输入层到隐藏层的参数 w1 形状为[784,500]，由隐藏层到输出层的参数 w2 形状为[500,10]，参数满足截断正态分布，并使用正则化，将每个参数的正则化损失加到总损失中。由输入层到隐藏层的偏置 b1 形状为长度为 500的一维数组， 由隐藏层到输出层的偏置 b2 形状为长度为 10 的一维数组，初始化值为全 0。 前向传播结构第一层为输入 x 与参数 w1 矩阵相乘加上偏置 b1，再经过 relu 函数，得到隐藏层输出 y1。 前向传播结构第二层为隐藏层输出 y1 与参数 w2 矩阵相乘加上偏置 b2，得到输出 y。由于输出 y 要经过 softmax 函数ÿ