基本的MNIST数字识别问题中程序的可扩展性不好,而且计算前向传播的函数需要将所有变量都传入,使程序的可读性变差,程序退出时。训练好的程序无法再次使用等一些列的问题,本文使用变量管理机制和持久化机制实现了MNIST数字识别问题。
mnist_inference.py定义了前向传播过程的过程和神经网络中的参数(在训练和测试过程中都会应用得到,所以提取出来)
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/5/16 14:15
# @Author : HJH
# @Site :
# @File : mnist_inference.py
# @Software: PyCharm
import tensorflow as tf
INPUT_NODE = 784
OUTPUT_NODE = 10
LAYER1 = 500
# 通过tf.get_variable函数来获取变量。在训练神经网络时会创建这些变量;在测试时会通
# 过保存的模型加载这些变量的取值。而且更加方便的是,因为可以在变量加载时将滑动平均变
# 量重命名,所以可以直接通过相同的名字在训练时使用变量自身,而在测试时使用变量的滑动
# 平均值。在这个函数中也会将变量的正则化损失加入到损失集合。
def get_weight_variable(shape,regularizer):
Weight=tf.get_variable('Weight',shape,initializer=tf.truncated_normal_initializer(stddev=0.1))
# 当给出了正则化生成函数时,将当前变量的正则化损失加入名字为losses的集合。在这里
# 使用了add_to_collection函数将一个张量加入一个集合,而这个集合的名称为losses。
# 这是自定义的集合,不在TensorFlow自动管理的集合列表中。
if regularizer != None:
tf.add_to_collection('losses',regularizer(Weight))
return Weight
# 定义神经网络的前向传播过程
def inference(input_tensor,regularizer):
# 声明第一层神经网络的变量并完成前向传播过程。
with tf.variable_scope('layer1'):
# 这里通过tf.get_variable或者tf.Variable没有本质区别,因为在训练或者测试
# 中没有在同一个程序中多次调用这个函数。如果在同一个程序中多次调用,在第一次
# 调用之后需要将reuse参数设置为True。
Weight=get_weight_variable([INPUT_NODE,LAYER1],regularizer)
biase=tf.get_variable('biase',[LAYER1],initializer=tf.constant_initializer(0.0))
layer1=tf.nn.relu(tf.matmul(input_tensor,Weight)+biase)
# 类似的声明第二层神经网络的变量并完成前向传播过程。
with tf.variable_scope('layer2'):
Weight = get_weight_variable([LAYER1, OUTPUT_NODE], regularizer)
biase = tf.get_variable('biase', [OUTPUT_NODE], initializer=tf.constant_initializer(0.0))
layer2 = tf.matmul(layer1, Weight) + biase
return layer2
mnist_train.py定义了神经网络的训练过程
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/5/16 14:36
# @Author : HJH
# @Site :
# @File : mnist_train.py
# @Software: PyCharm
import tensorflow as tf
import os
from tensorflow.examples.tutorials.mnist import input_data
import mnist_inference
BATCH_SIZE = 100
LEARNING_RATE_BASE = 0.8
LEARNING_RATE_DECAY = 0.99
REGULARIZATION_RATE = 0.0001
TRAINING_STEPS = 30000
MOVING_AVERAGE_DECAY = 0.99
#模型保存的路径和文件名
MODEL_SAVE_PATH='./path/model/'
MODEL_NAME='model.ckpt'
def train(mnist):
X = tf.placeholder(tf.float32,[None,mnist_inference.INPUT_NODE],name='x_input')
y = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y_input')
regularizer=tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)
pre_y=mnist_inference.inference(X,regularizer)
global_step=tf.Variable(0,trainable=False)
variable_average=tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step)
variable_average_op=variable_average.apply(tf.trainable_variables())
cross_entropy=tf.nn.sparse_softmax_cross_entropy_with_logits(logits=pre_y,labels=tf.argmax(y,1))
cross_entropy_mean=tf.reduce_mean(cross_entropy)
loss=cross_entropy_mean+tf.add_n(tf.get_collection('losses'))
learning_rate=tf.train.exponential_decay(LEARNING_RATE_BASE,global_step,
mnist.train.num_examples / BATCH_SIZE,
LEARNING_RATE_DECAY)
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_step)
with tf.control_dependencies([train_step,variable_average_op]):
train_op=tf.no_op(name='train')
# 初始化TensorFlow持久化类
saver=tf.train.Saver()
with tf.Session() as sess:
init=tf.global_variables_initializer()
sess.run(init)
for i in range(TRAINING_STEPS):
xs,ys=mnist.train.next_batch(BATCH_SIZE)
_,loss_value,step=sess.run([train_op,loss,global_step],feed_dict={X:xs,y:ys})
# 每1000轮保存一次模型
if i % 1000 == 0:
# 输出当前的训练情况。这里只输出了模型在当前训练batch上的损失
# 函数大小。通过损失函数的大小可以大概了解训练的情况。在验证数
# 据集上正确率的信息会有一个单独的程序来生成
print("After %d training step(s), loss on training "
"batch is %g." % (step, loss_value))
# 保存当前的模型。注意这里给出了global_step参数,这样可以让每个
# 被保存的模型的文件名末尾加上训练的轮数,比如“model.ckpt-1000”,
# 表示训练1000轮之后得到的模型。
saver.save(sess,os.path.join(MODEL_SAVE_PATH,MODEL_NAME),global_step=global_step)
def main(argc=None):
mnist=input_data.read_data_sets('MNIST_data',one_hot=True)
train(mnist)
if __name__=='__main__':
tf.app.run()
在创建这个Saver对象的时候,有一个参数我们经常会用到,就是 max_to_keep 参数,这个是用来设置保存模型的个数,默认为5,即 max_to_keep=5,保存最近的5个模型。如果你想每训练一代(epoch)就想保存一次模型,则可以将 max_to_keep设置为None或者0,
但是这样做除了多占用硬盘,并没有实际多大的用处,因此不推荐。当然,如果你只想保存最后一代的模型,则只需要将max_to_keep设置为1即可
mnist_inference.py定义了测试过程(只在最后一个模型上测试)
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/5/16 14:58
# @Author : HJH
# @Site :
# @File : mnist_eval.py
# @Software: PyCharm
import tensorflow as tf
import time
from tensorflow.examples.tutorials.mnist import input_data
import mnist_inference
import mnist_train
EVAL_INTERVAL_SECS=10
def evaluate(mnist):
with tf.Graph().as_default() as g:
X = tf.placeholder(tf.float32, [None, mnist_inference.INPUT_NODE], name='x_input')
y = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y_input')
validate_feed={X: mnist.validation.images,y: mnist.validation.labels}
# 因为测试时不关注正则化损失的值,所以这里用于计算正则化损失的函数被设置为None。
pre_y=mnist_inference.inference(X,None)
correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(pre_y,1))
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
# 通过变量重命名的方式来加载模型,这样在前向传播的过程中就不需要调用求滑动平均
# 的函数来获取平均值了。这样就可以完全共用mnist_inference.py中定义的
# 前向传播过程。
variable_averages=tf.train.ExponentialMovingAverage(mnist_train.MOVING_AVERAGE_DECAY)
variables_to_restore=variable_averages.variables_to_restore()
saver=tf.train.Saver(variables_to_restore)
# 每隔EVAL_INTERVAL_SECS秒调用一次计算正确率的过程以检验训练过程中正确率的变化。
while True:
with tf.Session() as sess:
# tf.train.get_checkpoint_state函数会通过checkpoint文件自动找到目录中最新模型的文件名
ckpt=tf.train.get_checkpoint_state(mnist_train.MODEL_SAVE_PATH)
if ckpt and ckpt.model_checkpoint_path:
# 加载模型。
saver.restore(sess,ckpt.model_checkpoint_path)
# 通过文件名得到模型保存时迭代的轮数。
global_step = ckpt.model_checkpoint_path.split('/')[-1].split('-')[-1]
accuracy_score=sess.run(accuracy,feed_dict=validate_feed)
print("After %s training step(s), validation "
"accuracy = %g" % (global_step, accuracy_score))
else:
print("No checkpoint file found")
return
time.sleep(EVAL_INTERVAL_SECS)
def main(argc=None):
mnist=input_data.read_data_sets('MNIST_data',one_hot=True)
evaluate(mnist)
if __name__=='__main__':
tf.app.run()