神经网络实战——基于TensorFlow的MNIST手写数据集实现

最新推荐文章于 2024-09-21 22:29:35 发布

YSQ是我的

最新推荐文章于 2024-09-21 22:29:35 发布

阅读量443

点赞数

分类专栏： TensorFlow框架学习文章标签：神经网络实战 TensorFlow MNIST手写数据集

本文链接：https://blog.csdn.net/u011609063/article/details/86660024

版权

TensorFlow框架学习专栏收录该内容

5 篇文章 1 订阅

订阅专栏

TensorFlow实战——基于神经网络的MNIST手写数据集实现

一、代码结果
二、代码展示

说明：前几篇博客已经介绍了TensorFlow的基本知识以及神经网络的简单实现，该篇博客通过一个具体例子来具体回顾前面所讲的内容。通过该神经网络，可以达到98.4%的正确率。

一、代码结果

在这里插入图片描述

二、代码展示

"""
this script shows how to realize MNIST_dataset by neural network.
As a result, its accuracy is about 98.4%
"""

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# 关于MNIST数据集的一些常量
# 输入层节点数，等于图片的像素点的个数，28*28
INPUT_LAYER = 784
# 输出层节点数，等于MNIST数据集中类别的数目
OUTPUT_LAYER = 10

# 配置神经网络参数
# 隐藏层节点数
HIDDEN_LAYER = 500
# 一个训练batch中训练数据的个数。数字越小，训练越接近随机梯度下降；数据越大，训练越接近梯度下降
BATCH_SIZE = 100
# 基础学习率
LEARNING_RATE_BASE = 0.8
# 学习率的衰减率
LEARNING_RATE_DECAY = 0.99
# 描述模型复杂度的正则化项在损失函数中的系数
REGULARIZATION_RATE = 0.0001
# 训练轮数
TRAINING_STEPS = 30000
# 滑动平均衰减率
MOVING_AVERAGE_DECAY = 0.99


def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2):
    """
    一个辅助函数，给定神经网络的输入和所有参数，计算神经网络的前向传播结果。在这里定义了一个使用Relu激活函数的三层
    全连接神经网络。通过加入隐藏层实现了多层网络结构，通过Relu激活函数去线性化。在这个函数中也支持传入用于计算参数
    平均值的类，这样方便在测试时使用滑动平均模型
    """
    # 当没有提供滑动平均类时，直接使用参数当前的取值
    if avg_class is None:
        layer1 = tf.nn.relu(tf.matmul(input_tensor, weights1) + biases1)
        print("[DEBUG] layer1.shape: {}".format(layer1))
        print("[DEBUG] biases2.shape: {}".format(biases2))
        print("[DEBUG] weights2.shape: {}".format(weights2))
        # 计算输出层的前向传播结果。因为在计算损失函数时会一起计算softmax函数，所以这里不需要加入激活函数。
        # 而且不加入softmax不会影响预测结果。
        return tf.matmul(layer1, weights2) + biases2
    else:
        # 首先使用avg_class.average计算变量的滑动平均值，然后计算神经网络的前向传播结果
        layer1 = tf.nn.relu(tf.matmul(input_tensor, avg_class.average(weights1)) + avg_class.average(biases1))
        return tf.matmul(layer1, avg_class.average(weights2)) + avg_class.average(biases2)


def train(mnist):
    x = tf.placeholder(tf.float32, shape=(None, INPUT_LAYER), name="x_input")
    y_real = tf.placeholder(tf.float32, shape=(None, OUTPUT_LAYER), name="y_real")

    # 隐藏层参数
    weight1 = tf.Variable(tf.truncated_normal([INPUT_LAYER, HIDDEN_LAYER], stddev=0.1))
    biases1 = tf.Variable(tf.constant(value=0.1, shape=[HIDDEN_LAYER]))

    # 输出层参数
    weight2 = tf.Variable(tf.truncated_normal([HIDDEN_LAYER, OUTPUT_LAYER], stddev=0.1))
    biases2 = tf.Variable(tf.constant(value=0.1, shape=[OUTPUT_LAYER]))

    # 计算当前参数下前向传播的结果，这里用于计算滑动平均的类为None，所以函数不会使用参数的滑动平均值
    y_pred = inference(x, None, weight1, biases1, weight2, biases2)

    # 定义训练的轮数，这个变量不需要计算滑动平均值，所以指定为不可训练的变量。使用TensorFlow训练神经网络时，一般将
    # 代表训练轮数的变量指定为不可训练的参数(trainable=false)
    global_step = tf.Variable(0, trainable=False)

    # 给定滑动平均衰减率和训练的轮数，初始化滑动平均类
    variables_averages = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)

    # 在所有代表神经网络的参数的变量上使用滑动平均。tf.trainable_variables()返回图上集合GraphKeys.TRAINABLE_VARIABLES
    # 中的元素，这个集合就是所有没有指定trainable=False的参数
    variables_averages_op = variables_averages.apply(tf.trainable_variables())

    # 计算使用滑动平均之后的前向传播结果
    y_pred_average = inference(x, variables_averages, weight1, biases1, weight2, biases2)

    # print("[DEBUG] y_pred.shape: {}".format(y_pred))
    # print("[DEBUG] tf.argmax(y_real, axis=1).shape: {}".format(tf.argmax(y_real, 1)))
    # 计算交叉熵刻画预测值和真实值之间差距的损失函数。
    cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y_pred, labels=tf.argmax(y_real, axis=1))

    # 计算当前batch中交叉熵均值
    cross_entropy_mean = tf.reduce_mean(cross_entropy)

    # 计算l2正则化损失函数
    regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)
    regularization = regularizer(weight1) + regularizer(weight2)

    # 总损失等于交叉熵损失加正则化损失
    total_loss = cross_entropy_mean + regularization

    # 设置指数衰减学习率
    learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE, global_step, mnist.train.num_examples / BATCH_SIZE,
                                               LEARNING_RATE_DECAY)

    # 使用梯度下降优化算法优化损失函数
    train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step=global_step)

    # 在训练神经网络模型时，每过一遍数据既需要通过反向传播来更新神经网络参数，又要更新每一个参数的滑动平均值。
    # 为了一次完成多个操作，TensorFlow提供了tf.control_dependencies和tf.group两种机制，下面两种机制等价
    # train_op = tf.group(train_step, variables_averages_op)
    with tf.control_dependencies([train_step, variables_averages_op]):
        train_op = tf.no_op(name="train")

    # 检验使用了滑动平均模型的神经网络前向传播结果是否正确
    correct_prediction = tf.equal(tf.argmax(y_pred_average, 1), tf.argmax(y_real, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

    # 初始化会话并开始训练过程
    with tf.Session() as sess:
        tf.global_variables_initializer().run()

        # 准备验证数据
        validate_feed = {x: mnist.validation.images, y_real: mnist.validation.labels}

        # 准备测试数据
        test_feed = {x: mnist.test.images, y_real: mnist.test.labels}

        # 训练神经网络
        for i in range(TRAINING_STEPS):
            # 每1000轮输出一下在验证集上的测试结果
            if i % 1000 == 0:
                validate_acc = sess.run(accuracy, feed_dict=validate_feed)
                print("after %d training steps, validation accuracy using average model is %f" % (i, validate_acc))

            # 产生这一轮使用的一个batch的训练数据，并允许训练过程
            xs, ys = mnist.train.next_batch(BATCH_SIZE)
            sess.run(train_op, feed_dict={x: xs, y_real: ys})

        # 在训练结束后，在测试数据上检测神经网络模型的最终正确率
        test_acc = sess.run(accuracy, feed_dict=test_feed)
        print("after %d training steps, test accuracy using average model is %f" % (TRAINING_STEPS, test_acc))


def main(argv=None):
    # 声明MNIST数据集的类，这个类在初始化时会自动下载数据
    mnist = input_data.read_data_sets("/data", one_hot=True)
    train(mnist)


if __name__ == '__main__':
    tf.app.run()