'''
#2018-06-25 272015 June Monday the 26 week, the 176 day SZ
手写字体识别程序文件1:
这个程序使用了全连接神经网络也就是DNN。
定义了前向传播的过程以及神经网络中的参数,无论训练还是测试,都可以直接调用inference这个函数
问题代码:
#regularizer正则化矩阵,变量属性:维度,shape;
tf.truncated_normal_initializer 从截断的正态分布中输出随机值。
seed:一个Python整数。用于创建随机种子。查看 tf.set_random_seed 行为。
tf.nn.relu() 激活函数实现去线性化
神经网络结果加上激活函数和偏置项:f(Wx +b); f(x)是激活函数,b是偏置项
每个神经元的输出经过非线性函数,整个模型就不是非线性了。这个非线性函数就是激活函数。
三个常见激活函数:ReLU激活函数,Sigmoid激活函数,tanh函数;
'''
import tensorflow as tf
#定义输入,输出,隐藏层1的节点个数
INPUT_NODE = 784 #28*28
OUTPUT_NODE = 10 #输出10个结点,十种分类结果,对应0-9数字
LAYER1_NODE = 500 #隐藏层有500个结点
def get_weight_variable(shape, regularizer): #regularizer正则化矩阵,变量属性:维度,shape;truncated缩短了的;被删节的;切去顶端的
weights = tf.get_variable('weights',shape, initializer = tf.truncated_normal_initializer(stddev=0.1))
#张量加入集合losses
if regularizer != None:
tf.add_to_collection('losses', regularizer(weights))
return weights
#定义前向传播过程
def inference(input_tensor, regularizer):
#声明第一层神经网络的过程并完成前向传播的过程
with tf.variable_scope('layer1'):
weights = get_weight_variable([INPUT_NODE, LAYER1_NODE], regularizer) #[INPUT_NODE, LAYER1_NODE]之间的权重
biases = tf.get_variable('biases', [LAYER1_NODE], initializer = tf.constant_initializer(0.0))
layer1 = tf.nn.relu(tf.matmul(input_tensor, weights) + biases)
#声明第2层神经网络的过程并完成前向传播的过程
with tf.variable_scope('layer2'):
weights = get_weight_variable([LAYER1_NODE, OUTPUT_NODE], regularizer) #[LAYER1_NODE, OUTPUT_NODE]之间的权重
biases = tf.get_variable('biases', [OUTPUT_NODE], initializer = tf.constant_initializer(0.0))
layer2 = tf.matmul(layer1, weights) + biases
#返回前向传播结果
return layer2
###########################################以下是训练部分###########################################
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import mnist_inference
import os
BATCH_SIZE = 100 #每批次取100个;一个批次中训练个数。
LEARNING_RATE_BASE = 0.8 #学习率初始值
LEARNING_RATE_DECAY = 0.99 #学习率衰减率
REGULARIZATION_RATE = 0.0001 #正则化系数
TRAINING_STEPS = 30000 #训练轮数
MOVING_AVERAGE_DECAY = 0.99 #滑动平均衰减率,控制模型更新的速度,让模型在测试数据上更健壮
MODEL_SAVE_PATH = 'D:\\ST\\Python_work\\program\\手写识别'
MODEL_NAME = "mnist_model"
def train(mnist):
# 定义输入输出placeholder。placeholder定义了一个位置,程序运行时候给这个位置提供数据。这个机制提供输入数据
x = tf.placeholder(tf.float32, [None, mnist_inference.INPUT_NODE], name='x-input')
y_ = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y-input')
regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE) #L2范数正则化
y = mnist_inference.inference(x, regularizer) #预测值
global_step = tf.Variable(0, trainable=False) #定义存储训练轮数的变量
# 定义损失函数、学习率、滑动平均操作以及训练过程。
variable_averages = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)
variables_averages_op = variable_averages.apply(tf.trainable_variables())
cros
手写数字识别全部代码--全连接神经网络方法
最新推荐文章于 2024-07-23 17:35:52 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)