(1)前面已经介绍了利用指数衰减的学习率设置、使用正则化来避免过拟合,以及使用滑动平均模型来使得最终模型更加健壮,下列代码给出了一个在MNIST数据集上实现这些完整Tensorflow程序。
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# MNIST数据集相关的常数
INPUT_NODE = 784 # 输入层的节点数。对于MNIST数据集,这个就等于图片的像素
OUTPUT_NODE = 10 # 输出层的节点数,这个等于类别的数目
# 配置神经网络的参数
LAYER1_NODE = 500 # 隐藏层节点,这里只有一个隐藏层的网络为例
BATCH_SIZE = 100 # 一个训练batch中训练数据个数,数字越小越接近随机梯度下降,数字越大越接近梯度下降
LEARNING_RATE_BASE = 0.8 # 基础的学习率
LEARNING_RATE_DECAY = 0.99 # 学习率的衰减率
REGULARIZATION_RATE = 0.0001 # 描述模型复杂度的正则化项在损失函数中的系数
TRAINING_STEPS = 30000 # 训练轮数
MOVING_AVERAGE_DECAY = 0.99 # 滑动平均衰减率
# 一个辅助函数,给定神经网络的输入和所有参数,计算神经网络的前向传播结果。
# 并定义了一个使用ReLU激活函数的三层全链接神经网络,通过加入隐藏层实现了多层网络结构
# 通过ReLU去线性化,在这个函数中也支持传入用于计算机参数平均值的类,这样方便在测试时使用滑动平均模型。
def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2):
# 当没有提供滑动平均类时,直接使用参数当前的取值。
if avg_class == None:
# 计算隐藏层的前向传播结果,这里使用了ReLU激活函数
layer1 = tf.nn.relu(tf.matmul(input_tensor,weights1)+biases1)
# 计算隐藏层的前向传播结果。因为在计算损失函数时会一并计算softmax函数
# 所以这里不需要加入激活函数,而且不加入softmax不会影响预测结果,因为预测时使用的
# 不同类别对应节点输出值的相对大小,有没有softmax层对最后分类结果的计算没有影响
# 于是在计算整个神经网络的前向传播时可以不加入最后的softmax
return tf.matmul(layer1, weights2)+biases2
else:
# 首先使用avg_class.average函数来计算得