TensorFlow学习之实现MNIST识别（实现断点重训）-----详细注解版

首先介绍一下：这里有三个文件：

mnist_inference.py      实现了神经网络的前向传播

mnist_train.py   实现了神经网络的训练（可直接运行，训练模型，实现了断点重训）

mnist_eval.py 实现了模型评估（评估模型的准确率）

下面直接贴代码：代码中有详细的注释。。。。。

mnist_inference.py文件代码：

# coding: utf-8
import tensorflow as tf

#输入层
INPUT_NODE = 784
#输出层
OUTPUT_NODE = 10
#隐藏层
LAYER1_NODE = 500

#初始化权重
def get_weight_variable(shape, regularizer):
    
    #tf.get_variable(name, shape, initializer): name就是变量的名称，shape是变量的维度，initializer是变量初始化的方式，初始化的方式有以下几种：
    # tf.constant_initializer：常量初始化函数
    # tf.random_normal_initializer：正态分布
    #tf.truncated_normal_initializer：截取的正态分布
    # tf.random_uniform_initializer：均匀分布
    # tf.zeros_initializer：全部是0
    # tf.ones_initializer：全是1
    # tf.uniform_unit_scaling_initializer：满足均匀分布，但不影响输出数量级的随机值
    weights = tf.get_variable("weights", shape, initializer=tf.truncated_normal_initializer(stddev=0.1))
    if regularizer != None: tf.add_to_collection('losses', regularizer(weights))
    return weights

#前向传播
def inference(input_tensor, regularizer):
    with tf.variable_scope('layer1'):

        weights = get_weight_variable([INPUT_NODE, LAYER1_NODE], regularizer)
        biases = tf.get_variable("biases", [LAYER1_NODE], initializer=tf.constant_initializer(0.0))
        layer1 = tf.nn.relu(tf.matmul(input_tensor, weights) + biases)

    with tf.variable_scope('layer2'):
        weights = get_weight_variable([LAYER1_NODE, OUTPUT_NODE], regularizer)
        biases = tf.get_variable("biases", [OUTPUT_NODE], initializer=tf.constant_initializer(0.0))
        layer2 = tf.matmul(layer1, weights) + biases

    return layer2

mnist_train.py 文件代码：

#-*- coding: UTF-8 -*-
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import mnist_inference
import os

BATCH_SIZE = 100 #一次训练使用的batch的大小，该数值越大越接近梯度下降，越小越接近随机梯度下降
LEARNING_RATE_BASE = 0.8 #基础的学习率
LEARNING_RATE_DECAY = 0.99 #学习率的衰减率
REGULARIZATION_RATE = 0.0001 #正则化项的系数，即lambda
TRAINING_STEPS = 30000 #训练轮数
MOVING_AVERAGE_DECAY = 0.99 #滑动平均衰减率
MODEL_SAVE_PATH="MNIST_model/"
MODEL_NAME="mnist_model"


def train(mnist):

    """
    placeholder
    为占位符，是一个抽象的概念。用于表示输入输出数据的格式。
    告诉系统：这里有一个值/