【TensorFlow】官方MNIST数据集神经网络实例详解

这几天开始学tensorflow训练神经网络，先来做一下学习记录。
一周目，用的书是Tensorflow+实战Google深度学习框架，第五章5.2.1的训练神经网络，发现代码存在一定的问题，MNIST手写体数字识别问题，前向传播神经网络，使用带指数衰减的学习率设置、使用正则化来避免过拟合，以及使用华东平均模型来使最终模型更加健壮。
直接使用read_data_sets()无法自动下载mnist数据集，可能是需要科学上网，也有博主说官网已经下载不了了。我是自己在极客学院直接手动下载的MNIST数据集，然后放在.py文件下的同目录下，数据集下载地址：
http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_download.html

代码我看很多改的都不太行，就放了一个自己的改进版本，亲测有效。

#学习《TensorFlow实战Google深度学习框架》
#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
#MNIST数据集的相关的常数
#输入层的节点数，对于MNIST数据集，这个等于图片的像素
INPUT_NODE = 784
#输出层的节点数，这个等于类别的数目。因为在MNIST数据集中需要区分的是0-9这10个数字。
OUTPUT_NODE = 10
#设置神经网络的参数
#隐藏层节点数，这里只使用一个隐藏层的网络结构作为样例。这个隐藏层有500个节点。
LAYER1_NODE = 500
#一个训练batch中的训练数据个数。数字越小时，训练过程接近随机梯度下降；数据越大时，训练接近梯度下降
BATCH_SIZE = 100

#基础的学习率
LEARNING_RATE_BASE = 0.8
#学习率的衰减率
LEARNING_RATE_DECAY = 0.99
#描述模型复杂度的正则化项在损失函数中的系数
REGULARIZATION_RATE = 0.0001
#训练次数
TRAINING_STEPS = 30000
#滑动平均衰减
MOVING_AVERAGE_DECAY = 0.99

#一个辅助函数，给定神经网络的输入和所有参数，计算神经网络的前向传播结果。在这里定义一个ReLU激活函数的三层全链接神经网络。
#通过加入隐藏层实现多层网络结构，通过ReLU激活函数实现去线性化。在这个函数中也支持传入用于计算参数均值的类。这样方便在测试时使用滑动平均模型
def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2):
    #当没有提供滑动平均类是，直接使用参数当前的取值
    if avg_class == None:
    	#计算隐藏层的前向传播结果，这里使用了ReLU激活函数
        layer1 = tf.nn.relu(tf.matmul(input_tensor, weights1) + biases1)
        #计算输出层的前向传播结果，因为在计算损失函数时会一并计算softmax函数，所以这里不需要加入激活函数。而且不加入softmax不会影响预测结果。
        #因为预测时使用的是不用于对应节点输出值的相对大小，有没有softmax层对最后的分类结果的计算没有影响。于是在计算整个神经网络的前向传播时
        #可以不加最后的softmax层。
        return tf.matmul(layer1, weights2) + biases2
   #否则，使用滑动平均值
    else:
       #首先使用avg_class.average函数来计算得出变量的滑动平均值。
        #然后再计算相应的神经网络前向传播的结果。
        layer1 = tf.nn.relu(tf.matmul(input_tensor, avg_class.average(weights1)) + avg_class.average(biases1))
        return tf.matmul(layer1, avg_class.average(weights2)) + avg_class.average(biases2)

#定义训练过程
def train(mnist):
   #占位符，定义x，y_变量
    x = tf.placeholder(tf.float32, [None, INP