Tensorflow学习笔记5——全网络连接基础（手写数字识别）

最新推荐文章于 2020-12-03 09:03:11 发布

不务正业的程序媛

最新推荐文章于 2020-12-03 09:03:11 发布

阅读量159

点赞数

分类专栏：学习笔记文章标签： TensorFlow 学习笔记神经网络手写数字识别

本文链接：https://blog.csdn.net/weixin_43903564/article/details/100527326

版权

学习笔记专栏收录该内容

26 篇文章 0 订阅

订阅专栏

Tensorflow学习笔记5

第五讲全网络连接基础
- 1、 MNIST数据集
- 2、手写数字识别准确率输出代码

第五讲全网络连接基础

1、 MNIST数据集

提供6W张28*28像素点的0~9手写数字图片和标签，用于训练
提供1W张28*28像素点的0~9手写数字图片和标签，用于测试

每张图片的784个像素点组成长度为784的一维数组，作为输入特征喂入神经网络。用0~1的浮点数表示，越接近1，像素点越白。
eg：【0. 0. 0. 0. 0. 0. 0. 0.380 0.376 0.301 …… 0.239 0. 0. 0. 0. 0.】
图片的标签以一维数组形式给出，每个元素表示对应分类出现的概率
eg：【0. 0. 0. 0. 0. 0. 1. 0. 0. 0.】 6
在这里插入图片描述
引入了input_data模块，调用read_data_sets函数自动加载数据集，第一个参数是数据集存放路径，后一个参数告知以读热码的形式存取。该路径没有数据集时会自动下载。

#获取数据集内样本数
mnist.train.num_examples
mnist.validation.num_examples
mnist.test.num_examples
#返回标签
mnist.train.labels[0]
#返回图片（数据）
mnist.train.images[0]
#定义喂入网络的数据大小
mnist.train.next_batch

几个重要函数：
tf.get_collection(“”)#从集合中取全部变量，生成一个列表
tf.add_n([ ])#列表内对应元素相加
tf.cast(x,dtype)#把x转为dtype类型
tf.argmax(x,axis)#返回最大值所在的索引号如tf.argmax([1,0,0],1) 返回0
os.path.join(“home”,”name”)#返回home/name
字符串.split()#按指定拆分符对字符串切片，返回分割后的列表
with tf.Graph().as_default() as g: #其内定义结点在计算图g中

模型的保存和加载：
保存模型：
saver = tf.train.Saver() #实例化saver对象
with tf.Session() as sess:
for I in range(STEPS):
if I % 轮数 == 0:
saver.save(sess,os.path.join(MODEL_SAVE_PATH,MODEL_NAME),global_step=global_setp)

加载模型：
with tf.Session() as sess:
ckpt = tf.train.get_checkpoint_state(存储路径)
if ckpt and ckpt.model_checkpoint_path:
saver.restore(sess,ckpt.model_checkpoint_path)

实例化可还原滑动平均值的saver：
ema = tf.train.ExponentialMovingAverage(滑动平均基础)
ema_restore = ema.variables_to_restore()
saver = tf.train.Saver(ema_restore)

准确率的计算方法：
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
#y是BATCH_SIZE个数据喂入后计算的结果，是BATCH_SIZE*10的二维数组，每行表示1轮BATCH前向传播的结果。tf.argmax(y,1)表示选取最大值的操作仅在第一个维度进行，即每行最大值所对应的索引号，会得到一个长度为BATCH的一维数组。这个一维数组的值就表示了每一轮样本推算初的数字识别结果。
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
#将一个布尔值转为实数，计算平均值。

2、手写数字识别准确率输出代码

前向传播 mnist_forward.py：

    import tensorflow as tf
    
    INPUT_NODE = 784
    OUTPUT_NODE = 10
    LAYER1_NODE = 500
    
    def get_weight(shape, regularizer):
    	w = tf.Variable(tf.truncated_normal(shape,stddev=0.1))
    	if regularizer != None:
    		tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(regularizer)(w))
    	return w
    
    def get_bias(shape):
    	b = tf.Variable(tf.zeros(shape))
    	return b
    	
    def forward(x, regularizer):
    	w1 = get_weight([INPUT_NODE,LAYER1_NODE],regularizer)
    	b1 = get_bias([LAYER1_NODE])
    	y1 = tf.nn.relu(tf.matmul(x,w1)+b1)
    
    	w2 = get_weight([LAYER1_NODE,OUTPUT_NODE],regularizer)
    	b2 = get_bias([OUTPUT_NODE])
    	y = tf.matmul(y1,w2)+b2
    	return y

反向传播 mnist_backward.py：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import mnist_forward
import os

BATCH_SIZE = 200
LEARNING_RATE_BASE = 0.1
LEARNING_RATE_DECAY = 0.99
REGULARIZER = 0.0001
STEPS = 5000
MOVING_AVERAGE_DECAY = 0.99
MODEL_SAVE_PATH = "./model/"
MODEL_NAME = "mnist_model"

def backward(mnist):
    x = tf.placeholder(tf.float32,[None,mnist_forward.INPUT_NODE])
    y_ = tf.placeholder(tf.float32,[None,mnist_forward.OUTPUT_NODE])
    y = mnist_forward.forward(x,REGULARIZER)
    global_step = tf.Variable(0,trainable = False)

    ce=tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))
    loss_ce=tf.reduce_mean(ce)
    loss = loss_ce + tf.add_n(tf.get_collection('losses'))

    learning_rate = tf.train.exponential_decay(
        LEARNING_RATE_BASE,
        global_step,
        mnist.train.num_examples / BATCH_SIZE,
        LEARNING_RATE_DECAY,
        staircase=True)

    train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_step)

    ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step)
    ema_op = ema.apply(tf.trainable_variables())
    with tf.control_dependencies([train_step,ema_op]):
        train_op = tf.no_op(name='train')

    saver = tf.train.Saver()

    with tf.Session() as sess:
        init_op = tf.global_variables_initializer()
        sess.run(init_op) 
        for i in range(STEPS):
            xs,ys = mnist.train.next_batch(BATCH_SIZE)
            _,loss_value,step = sess.run([train_op,loss,global_step],feed_dict={x: xs,y_: ys})
            if i % 1000 == 0:
                print("After %d training steps,loss on training batch is %g" % (step,loss_value))
                saver.save(sess, os.path.join(MODEL_SAVE_PATH,MODEL_NAME),global_step = global_step)

def main():
    mnist = input_data.read_data_sets("./data/",one_hot = True)
    backward(mnist)

if __name__ == '__main__':
    main()

测试模块mnist_test.py：

#coding:utf-8
import time
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import mnist_forward
import mnist_backward

TEST_INTERVAL_SECS = 5

def test(mnist):
    with tf.Graph().as_default() as g:
        x = tf.placeholder(tf.float32,[None,mnist_forward.INPUT_NODE])
        y_ = tf.placeholder(tf.float32,[None,mnist_forward.OUTPUT_NODE])
        y = mnist_forward.forward(x,None)

        ema = tf.train.ExponentialMovingAverage(mnist_backward.MOVING_AVERAGE_DECAY)
        ema_restore = ema.variables_to_restore()
        saver = tf.train.Saver(ema_restore)

        correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
        accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

        while True:
            with tf.Session() as sess:
                #把滑动平均值赋给各个参数
                ckpt = tf.train.get_checkpoint_state(mnist_backward.MODEL_SAVE_PATH)
                if ckpt and ckpt.model_checkpoint_path:
                    saver.restore(sess,ckpt.model_checkpoint_path)
                    global_step = ckpt.model_checkpoint_path.split('/')[-1].split('-')[-1]
                    accuracy_score = sess.run(accuracy, feed_dict={x:mnist.test.images,y_:mnist.test.labels})
                    print("After %s training steps,test accuracy = %g"%(global_step,accuracy_score))
                else:
                    print('No checkpoint file found!')
                    return
            time.sleep(TEST_INTERVAL_SECS)
def main():
    mnist = input_data.read_data_sets("./data/",one_hot = True)
    test(mnist)

if __name__ == '__main__':
    main()

注意：必须在两个终端同时运行backward和test
backward运行结果：
在这里插入图片描述
程序占用资源过高，一段时间后可能会被系统杀死。
test运行结果：

可以看到准确率在不断提高。

以上学习内容来自中国MOOC网课程：https://www.icourse163.org/course/PKU-1002536002

不务正业的程序媛

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Tensorflow学习笔记5——全网络连接基础（手写数字识别）

Tensorflow学习笔记5第五讲全网络连接基础1、 MNIST数据集2、手写数字识别准确率输出代码第五讲全网络连接基础1、 MNIST数据集提供6W张2828像素点的0~9手写数字图片和标签，用于训练提供1W张2828像素点的0~9手写数字图片和标签，用于测试每张图片的784个像素点组成长度为784的一维数组，作为输入特征喂入神经网络。用0~1的浮点数表示，越接近1，像素点越白...
复制链接

扫一扫