tensorflow笔记05

tensorflow笔记05：模块化实现mnist手写数字的训练与检测

目录

---

• mnist手写数据集合的简介和下载
• 相关函数介绍及模块化 py文件的准备
• 模型训练
• 修改超参数观察loss的变化及准确率的变化趋势
• 实现断点需续训

---

1.mnist手写数据集合的简介和下载

mnist 数据集:包含 7 万张黑底白字手写数字图片,其中 55000 张为训练集,5000 张为验证集,10000 张为测试集。每张图片大小为 28*28 像素,图片中纯黑色像素值为 0,纯白色像素值为 1。数据集的标签是长度为 10 的一维数组,数组中每个元素索引号表示对应数字出现的概率。

敲黑板：在将 mnist 数据集作为输入喂入神经网络时,需先将数据集中每张图片变为长度784的一维数组,将该数组作为神经网络输入特征喂入神经网络。
例如:
一张数字手写体图片变成长度为 784 的一维数组[0.0.0.0.0.231 0.235 0.459…0.219 0.0.0.0.]输入神经网络。该图片对应的标签为[0.0.0.0.0.0.1.0.0.0],标签中索引号为 6 的元素为 1,表示是数字 6 出现的概率为 100%,则该图对应的识别结果是 6。
由于原tensorflow的input_data模块中的url无法对mnist数据集下载,这里收藏以下下载地址。
mnist手写数据集下载：
百度网盘 提取码: pr45
网页下载

2.相关函数介绍及模块化 py文件的准备

相关函数介绍

1. tf.get_collection(“”)函数表示从 collection 集合中取出全部变量生成
   一个列表。
2. tf.add( )函数表示将参数列表中对应元素相加。
3. f.cast(x,dtype)函数表示将参数 x 转换为指定数据类型。
4. tf.equal( )函数表示对比两个矩阵或者向量的元素。若对应元素相等,则返回 True;若对应元素不相等,则返回 False。
5. tf.reduce_mean(x,axis)函数表示求取矩阵或张量指定维度的平均值。若不指定第二个参数,则在所有元素中取平均值;若指定第二个参数为 0,则在第一维元素上取平均值,即每一列求平均值;若指定第二个参数为 1,则在第二维元素上取平均值,即每一行求平均值。
6. tf.argmax(x,axis)函数表示返回指定维度 axis 下,参数 x 中最大值索引号。
7. os.path.join()函数表示把参数字符串按照路径命名规则拼接。
8. 字符串.split( )函数表示按照指定“拆分符”对字符串拆分,返回拆分列表。
9. tf.Graph( ).as_default( )函数表示将当前图设置成为默认图,并返回一
   个上下文管理器。该函数一般与 with 关键字搭配使用,应用于将已经定义好
   的神经网络在计算图中复现。

模块化文件

1. 前向传播模块： forward.py
2. 反向传播模块： mnist_backward.py
3. 测试模型文件： mnist_test.py
   

1.forward.py

#coding:utf-8
import tensorflow as tf

#定义输入节点与输出节，隐藏层节点
INPUT_NODE = 784
OUTPUT_NODE = 10
LAYER1_NODE = 500

def get_weight(shape,regularizer):
	w = tf.Variable(tf.truncated_normal(shape,stddev=0.1))
	if regularizer != None: tf.add_to_collection("losses",tf.contrib.layers.l2_regularizer(regularizer)(w))
	return w

def get_bias(shape):
	b = tf.Variable(tf.zeros(shape))
	return b

def forward(x,regularizer):
	w1 = get_weight([INPUT_NODE,LAYER1_NODE],regularizer)
	b1 = get_bias([LAYER1_NODE])
	y1 = tf.nn.relu(tf.matmul(x,w1)+b1)
	#print y1.shape,x.shape

	w2 = get_weight([LAYER1_NODE,OUTPUT_NODE],regularizer)
	b2 = get_bias([OUTPUT_NODE])
	#注意y1必须写在w2前面，保证第一个矩阵的行=第二个矩阵的列。才可以相乘。
	y = tf.matmul(y1,w2)+b2
	return y

2.mnist_backward.py

#coding:utf-8
import tensorflow as tf 
import forward
import os
from tensorflow.examples.tutorials.mnist import input_data

#定义喂入数据的size
BATCH_SIZE = 200
#定义指数衰减学习率与滑动平均
LEARNING_RATE_DECAY = 0.99
LEARNING_RATE_BASE = 0.1
REGULARIZER = 0.0001
#轮数
STEPS = 60000
MOVEING_AVERAGE_DECAY = 0.99
MODEL_SAVE_PATH = "/home/linhu/tf_file/fifth/model_data"
MODEL_NAME = "mnist_model"


def backward(mnist):
	x = tf.placeholder(tf.float32,shape=[None,forward.INPUT_NODE])
	y_ = tf.placeholder(tf.float32,shape=[None,forward.OUTPUT_NODE])
	y = forward.forward(x,REGULARIZER)
	global_step = tf.Variable(0,trainable=False)
	#使用交叉熵计算损失。配合softmax
	ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))
	cem =  tf.reduce_mean(ce)
	loss = cem + tf.add_n(tf.get_collection('losses'))

	#设置指数衰减学习率，随机梯度下降调整学习率（其他）
	learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE,global_step,mnist.train.num_examples/BATCH_SIZE,LEARNING_RATE_DECAY,staircase=True)
	train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_step)
	
	#train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss,global_step=global_step)
	#train_step = tf.train.MomentumOptimizer(learning_rate,Momentum,name='Momentum').minimize(loss,global_step=global_step)

	#设置滑动平均
	ema = tf.train.ExponentialMovingAverage(MOVEING_AVERAGE_DECAY,global_step)
	ema_op = ema.apply(tf.trainable_variables())
	with tf.control_dependencies([train_step,ema_op]):
		train_op = tf.no_op(name='train')

	#保存模型先实例化saver对象
	saver = tf.train.Saver()
	
	with tf.Session() as sess:
		init_op = tf.global_variables_initializer()
		sess.run(init_op)
	
		
		for i in range(STEPS):
			#设置输入的数据，根据BATCH_SIZE定
			xs,ys = mnist.train.next_batch(BATCH_SIZE)
			#print "xs shape:",xs.shape
			#print "ys shape:",ys.shape
			_,loss_value,step =   sess.run([train_op,loss,global_step],feed_dict={x:xs,y_:ys})
			#每隔1000次输出一次损失值
			if i%1000==0:
				print "After %d training steps , the loss on training batch is %g."%(step,loss_value)
				#保存模型
				saver.save(sess,os.path.join(MODEL_SAVE_PATH,MODEL_NAME),global_step=global_step)
	
def main():
	#下载mnist数据集，这里实际上无法下载，得预先下载好数据集	
	mnist = input_data.read_data_sets("./data/",one_hot=True)
	backward(mnist)

if __name__ == '__main__':
	main()

3.mnist_test.py

#coding:utf-8
import time
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import forward
import mnist_backward

#设置延时
TEST_INTERVAL_SECS = 5

def test(mnist):
	#设置默认图作为计算的模型、
	with tf.Graph().as_default() as g:
		x =  tf.placeholder(tf.float32,shape=[None,forward.INPUT_NODE])
		y_ = tf.placeholder(tf.float32,shape=[None,forward.OUTPUT_NODE])
		#获取输出结果，且不使用正则化
		y = forward.forward(x,None)

		#设置滑动平均
		ema = tf.train.ExponentialMovingAverage(mnist_backward.MOVEING_AVERAGE_DECAY)
		#加载滑动平均
		ema_restore = ema.variables_to_restore()
		saver = tf.train.Saver(ema_restore)

		#设置正确的标签
		correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
		#计算准确率
		accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
	
		while True:
			with tf.Session() as sess:
				#判断checkpoint是否存在
				ckpt = tf.train.get_checkpoint_state(mnist_backward.MODEL_SAVE_PATH)
				if ckpt and ckpt.model_checkpoint_path:
					saver.restore(sess,ckpt.model_checkpoint_path)
					#提取当前保存模型的轮数
					global_step = ckpt.model_checkpoint_path.split('/')[-1].split('-')[-1]
					#计算准确率
					accuracy_score = sess.run(accuracy,feed_dict={x:mnist.test.images,y_:mnist.test.labels})
					#打印准确率
					print "After %s training step(s),test accuracy = %g"%(global_step,accuracy_score)
				else:
					print "No checkpoint file found"
					return
			#延时
			time.sleep(TEST_INTERVAL_SECS)

def main():
	mnist = input_data.read_data_sets("./data/",one_hot=True)
	test(mnist)

if __name__ == '__main__':
	main()

3.模型训练

在终端运行mnist_backward.py, 开始训练模型

保存的模型文件：
使用mnist_test.py测试模型准确率（这里同时打开训练，边训练边看准确率）

从终端显示的运行结果可以看出,随着训练轮数的增加,网络模型的损失函数
值在不断降低,并且在测试集上的准确率在不断提升,有较好的泛化能力。

4.修改超参数观察loss的变化及准确率的变化趋势

修改mnist_backward.py文件中的损失下降方法，分别使用

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_step)

train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss,global_step=global_step)

观察损失下降的趋势，发现第一种方法比较快的降低模型损失误差

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_step)

train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss,global_step=global_step)

5.实现断点续训

首先打开对应的文件夹，看是否存在checkpoint文件，有就说明模型能正确保存

在mnist_backward.py去掉断点续训的注释


演示：
加上断点续训代码

		#加入断点续训功能
		ckpt = tf.train.get_checkpoint_state(MODEL_SAVE_PATH)
		if ckpt and ckpt.model_checkpoint_path:
			saver.restore(sess,ckpt.model_checkpoint_path)

发现训练的次数从49002开始，损失值直接为0.128857以下。