【TensorFlow】官方MNIST数据集神经网络实例详解

本文介绍了使用TensorFlow进行MNIST手写数字识别的深度学习实践。在学习过程中,作者发现了官方代码的一些问题,并分享了自行解决的方法,包括手动下载MNIST数据集、调整学习率和正则化防止过拟合。文章提供了经过验证的有效代码,并展示了训练输出结果。
摘要由CSDN通过智能技术生成

这几天开始学tensorflow训练神经网络,先来做一下学习记录。
一周目,用的书是Tensorflow+实战Google深度学习框架,第五章5.2.1的训练神经网络,发现代码存在一定的问题,MNIST手写体数字识别问题,前向传播神经网络,使用带指数衰减的学习率设置、使用正则化来避免过拟合,以及使用华东平均模型来使最终模型更加健壮。
直接使用read_data_sets()无法自动下载mnist数据集,可能是需要科学上网,也有博主说官网已经下载不了了。我是自己在极客学院直接手动下载的MNIST数据集,然后放在.py文件下的同目录下,数据集下载地址:
http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_download.html

代码我看很多改的都不太行,就放了一个自己的改进版本,亲测有效。

#学习《TensorFlow实战Google深度学习框架》
#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
#MNIST数据集的相关的常数
#输入层的节点数,对于MNIST数据集,这个等于图片的像素
INPUT_NODE = 784
#输出层的节点数,这个等于类别的数目。因为在MNIST数据集中需要区分的是0-9这10个数字。
OUTPUT_NODE = 10
#设置神经网络的参数
#隐藏层节点数,这里只使用一个隐藏层的网络结构作为样例。这个隐藏层有500个节点。
LAYER1_NODE = 500
#一个训练batch中的训练数据个数。数字越小时,训练过程接近随机梯度下降;数据越大时,训练接近梯度下降
BATCH_SIZE = 100

#基础的学习率
LEARNING_RATE_BASE = 0.8
#学习率的衰减率
LEARNING_RATE_DECAY = 0.99
#描述模型复杂度的正则化项在损失函数中的系数
REGULARIZATION_RATE = 0.0001
#训练次数
TRAINING_STEPS = 30000
#滑动平均衰减
MOVING_AVERAGE_DECAY = 0.99

#一个辅助函数,给定神经网络的输入和所有参数,计算神经网络的前向传播结果。在这里定义一个ReLU激活函数的三层全链接神经网络。
#通过加入隐藏层实现多层网络结构,通过ReLU激活函数实现去线性化。在这个函数中也支持传入用于计算参数均值的类。这样方便在测试时使用滑动平均模型
def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2):
    #当没有提供滑动平均类是,直接使用参数当前的取值
    if avg_class == None:
    	#计算隐藏层的前向传播结果,这里使用了ReLU激活函数
        layer1 = tf.nn.relu(tf.matmul(input_tensor, weights1) + biases1)
        #计算输出层的前向传播结果,因为在计算损失函数时会一并计算softmax函数,所以这里不需要加入激活函数。而且不加入softmax不会影响预测结果。
        #因为预测时使用的是不用于对应节点输出值的相对大小,有没有softmax层对最后的分类结果的计算没有影响。于是在计算整个神经网络的前向传播时
        #可以不加最后的softmax层。
        return tf.matmul(layer1, weights2) + biases2
   #否则,使用滑动平均值
    else:
       #首先使用avg_class.average函数来计算得出变量的滑动平均值。
        #然后再计算相应的神经网络前向传播的结果。
        layer1 = tf.nn.relu(tf.matmul(input_tensor, avg_class.average(weights1)) + avg_class.average(biases1))
        return tf.matmul(layer1, avg_class.average(weights2)) + avg_class.average(biases2)

#定义训练过程
def train(mnist):
   #占位符,定义x,y_变量
    x = tf.placeholder(tf.float32, [None, INP
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值