1.LeNet-5学习总结
调试程序是一个痛苦的过程，对于LeNet-5模型的代码，还需要一天来debug，后续将详细介绍整套代码debug详细资料，先添加目前已经实现的的部分。
目前实现了mnist的经典编程，还需要明天学习总结，其中 sparse_softmax_cross_entropy_with_logits 函数需要加入labels和logit 属性才能使用
2.Inception-v3学习总结
inception-v3 神经网络结构与卷积神经网络不同的地方是其网络结构是并联的，也就是说它同时有1x1,3x3,5x5三个filter并联处理输入，然后将输出拼接为一个矩阵，然后提取特征值。
鉴于编程调试过于繁琐复杂，不便于每天分享，因此将编程调试过程放在周末进行，后续会更新编程代码，并分析调试过程以及遇到的坑。
# -*- coding: gb2312 -*-
import tensorflow as tf
#配置神经网络的参数
INPUT_NODE = 784
OUTPUT_NODE = 10
IMAGE_SIZE = 28
NUM_CHANNELS = 1
NUM_LABELS = 10
#第一层卷积层的尺寸和深度
CONV1_DEEP = 32
CONV1_SIZE = 5
#第二层卷积层的尺寸和深度
CONV2_DEEP = 64
CONV2_SIZE = 5
#全连接层的节点个数
FC_SIZE = 512
#定义卷积神经网络的前向传播过程。这里添加了一个新的参数train， 用于区分训练过程和测试过程。
#在这个程序中将用到dropout方法，dropout可以进一步提升模型可靠性并防止过拟合，
#dropout过程只在训练时使用
def inference(input_tensor, train, regularizer):
#声明第一层卷积层的变量并实现前向传播过程。
#通过使用不同的命名空间来隔离不同层的变量，这可以让每一层中的变量命名只需要考虑当前层的作用，
#而不用担心重命名的问题。和标准LeNet-5模型不一样，这里定义的卷积层输入为28x28x1的原始MNIST
#图像像素，因为卷积层中使用了全0填充，所以输出为28x28x32的矩阵
with tf.variable_scope('layer1-conv1'):
conv1_weights = tf.get_variable(
"weight", [CONV1_SIZE, CONV1_SIZE, NUM_CHANNELS, CONV1_DEEP],
initializer = tf.truncated_normal_initializer(stddev=0.1))
conv1_biases = tf.get_variable(
"bias", [CONV1_DEEP],
initializer = tf.constant_initializer(0.0))
#使用边长为5， 深度为32的过滤器，过滤器移动的步长为1，且使用全0填充
conv1 = tf.nn.conv2d(
input_tensor, conv1_weights, strides = [1,1,1,1], padding = 'SAME')
relu1 = tf.nn.relu(tr.nn.bias_add(conv1, conv1_biases))
#实现第二层池化层的前向传播过程。这里选用最大池化层，池化层过滤器的边长为2，
#使用全0填充且移动的步长为2。 这一层的输入是上一层的输出，也就是28x28x32的矩阵。
#输出矩阵为14x14x32的矩阵。
with tf.name_scope('layer2-pool1'):
pool1 = tf.nn.max_pool(
relu1, ksize = [1,2,2,1], strides=[1,2,2,1], padding='SAME')
#声明第三层卷积层的变量并实现前向传播过程。这一层的输入为14x14x32的矩阵
#输出为14x14x64的矩阵。
with tf.variable_scope('layer3-conv2'):
conv2_weights = tf.get_variable(
"weight", [CONV2_SIZE, CONV2_SIZE, CONV1_DEEP, CONV2_DEEP],
initializer = tf.truncated_normal_initializer(stddev = 0.1))
conv2_biases = tf.get_variable(
"bias", [CONV2_DEEP],
initializer = tf.constant_initializer(0.0))
#使用边长为5， 深度为64的过滤器，过滤器移动的不长为1， 且使用全0填充
conv2 = tf.nn.conv2d(
pool1, conv2_weights, strides = [1,1,1,1], padding = 'SAME')
relu2 = tf.nn.relu(tf.nn.bias_add(conv2, conv2_biases))
#实现第四层池化层的前向传播过程。 这一层和第二层的结构是一样的。这一层的输入为14x14x16的矩阵，
#输出为7x7x64的矩阵。
with tf.name_scope('layer4-pool2'):
pool2 = tf.nn.max_pool(
relu2, ksize = [1,2,2,1], strides = [1,2,2,1], padding='SAME')
#第四层池化层的输出转化为第五层全连接层的输入格式。 第四层的输出为7x7x64的矩阵，
#然而第五层全连接层需要的输入格式为向量，所以在这里需要将这个7x7x64的矩阵拉直成一个向量。
#pool2.get_shape函数可以得到第四层输出矩阵的维度而不需要手工计算。
#注意以为每一层神经网络的输入输出都为一个batch的矩阵。所以这里得到的维度也包含了一个batch中数据的格式。
pool_shape = pool2.get_shape().as_list()
#计算将矩阵拉直成向量之后的长度，这个长度就是矩阵长度及深度的乘积。
#注意，这里pool_shape[0]为一个batch中数据的个数。
nodes = pool_shape[1] * pool_shape[2] *pool_shape[3]
#通过tf.reshape函数将第四层的输出变成一个batch的向量。
reshaped = tf.reshape(pool2, [pool_shape[0], nodes])
#声明第五层全连接层的变量并实现前向传播过程。这一层的输入是拉直之后的一组向量，向量长度为3136，
#输出是一组长度为512的向量。dropout一般只在全连接层而不是卷积层或者池化层使用。
with tf.variable_scope('layer5-fc1'):
fc1_weights = tf.get_variable(
"weight", [nodes, FC_SIZE],
initializer = tf.truncated_normal_initializer(stddev=0.1))
#只有全连接层的权重需要加入正则化。
if regularizer != None:
tf.add_to_collection('losses', regularizer(fc1_weights))
fc1_biases = tf.get_variable(
"bias", [FC_SIZE], initializer = tf.constant_initializer(0.1))
fc1 = tf.nn.relu(tf.matmul(reshaped, fc1_weights) + fc1_biases)
if train:
fc1 = tf.nn.dropout(fc1, 0.5)
#声明第六层全连接层的变量并实现前向传播过程。 这一层的输入为一组长度为512的向量，
#输出为一组长度为10的向量，这一层的输出通过Softmax之后就得到了最后的分类结果。
with tf.variable_scope('layer6-fc2'):
fc2_weights = tf.get_variable(
"weight", [FC_SIZE, NUM_LABELS],
initializer = tf.truncated_normal_initializer(stddev = 0.1))
if regularizer != None:
tf.add_to_collection('losses', regularizer(fc2_weights))
fc2_biases = tf.get_variable(
"bias", [NUM_LABELS],
initializer = tf.constant_initializer(0.1))
logit = tf.matmul(fc1, fc2_weights)+fc2_biases
#返回第六层的输出
return logit
# -*- coding:gb2312 -*-
'''
file: mnist_train.py
'''
import os
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#加载mnist_inference.py 中定义的常量和前向传播的函数
import mnist_inference
#配置神经网络的参数
BATCH_SIZE = 100
LEARNING_RATE_BASE = 0.8
LEARNING_RATE_DECAY = 0.99
REGULARAZTION_RATE = 0.0001
TRAINING_STEPS = 30000
MOVING_AVERAGE_DECAY = 0.99
#模型保存的路径和文件名。
MODEL_SAVE_PATH = './model/'
MODEL_NAME = 'model.ckpt'
def train(mnist):
#定义输入输出placeholder。
x = tf.placeholder(
tf.float32, [None, mnist_inference.INPUT_NODE], name = 'x-input')
y_ = tf.placeholder(
tf.float32, [None, mnist_inference.OUTPUT_NODE], name = 'y-input')
regularizer = tf.contrib.layers.l2_regularizer(REGULARAZTION_RATE)
#直接使用mnist_inference.py
y = mnist_inference.inference(x, regularizer)
global_step = tf.Variable(0, trainable=False)
#定义损失函数、学习率、滑动平均操作以及训练过程。
variable_averages = tf.train.ExponentialMovingAverage(
MOVING_AVERAGE_DECAY, global_step)
variables_averages_op = variable_averages.apply(
tf.trainable_variables())
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(
labels=tf.argmax(y_, 1), logits=y)
cross_entropy_mean = tf.reduce_mean(cross_entropy)
loss = cross_entropy_mean + tf.add_n(tf.get_collection('losses'))
learning_rate = tf.train.exponential_decay(
LEARNING_RATE_BASE,
global_step,
mnist.train.num_examples/BATCH_SIZE,
LEARNING_RATE_DECAY)
train_step = tf.train.GradientDescentOptimizer(learning_rate)\
.minimize(loss, global_step = global_step)
with tf.control_dependencies([train_step, variables_averages_op]):
train_op = tf.no_op(name = 'train')
#初始化TensorFlow持久化类。
saver = tf.train.Saver()
with tf.Session() as sess:
tf.initialize_all_variables().run()
#在训练过程中不再测试模型在验证数据上的表现，验证和测试的过程将会有一个独立的程序来完成
for i in range(TRAINING_STEPS):
xs, ys = mnist.train.next_batch(BATCH_SIZE)
_, loss_value, step = sess.run([train_op, loss, global_step],
feed_dict = {x:xs, y_: ys})
#每1000轮保存一次模型。
if i%1000 == 0:
'''
输出当前的训练情况。这里只输出了模型在当前训练batch上的损失函数大小。
通过损失函数的大小可以大概了解训练的情况。在验证数据集上的正确率信息会有一个
单独的程序来生成
'''
print("After %d training steps, loss on training "
"batch is %g."%(step, loss_value))
'''
保存当前的模型。global_step参数可以让每个被保存模型的文件名末尾加上训练的轮数
'''
saver.save(
sess, os.path.join(MODEL_SAVE_PATH, MODEL_NAME),
global_step = global_step)
def main(argv = None):
mnist = input_data.read_data_sets('./data/', one_hot=True)
train(mnist)
if __name__ == '__main__':
tf.app.run()
# -*- coding:gb2312 -*-
'''
file:mnist_inference.py
brief:这段代码中定义了神经网络的前向传播算法
'''
import tensorflow as tf
#定义神经网络结构相关的参数
INPUT_NODE = 784
OUTPUT_NODE = 10
LAYER1_NODE = 500
#通过tf.get_variable函数来获取变量。在训练神经网络时会创建这些变量；在测试时会通过保存的模型
#加载这些变量的取值。而且更加方便的是，因为可以在变量加载时将滑动平均变量重命名，所以可以直接通过同样的名字
#在训练时使用变量自身，而在测试时使用变量的滑动平均值。在这个函数中也会将变量的正则化损失加入损失集合
def get_weight_variable(shape, regularizer):
weights = tf.get_variable(
"weights", shape,
initializer = tf.truncated_normal_initializer(stddev=0.1))
#当给出了正则化生成函数时，将当前变量的正则化损失加入名字为losses的集合。在这里使用了
#add_to_collection函数将一个张量加入一个集合，而这个集合的名称为losses。
#这是自定义的集合，不在TensorFlow自动管理的集合列表中。
if regularizer != None:
tf.add_to_collection('losses', regularizer(weights))
return weights
#定义神经网络的前向传播过程。
def inference(input_tensor, regularizer):
#申明第一层神经网络的变量并完成前向传播过程。
with tf.variable_scope('layer1'):
'''
这里通过tf.get_variable或tf.variable没有本质区别，因为在训练或是测试中没有在
同一个程序中多次调用这个函数。如果在同一个程序中多次调用，在第一次调用之后需要将reuse
参数设置为True
'''
weights = get_weight_variable(
[INPUT_NODE, LAYER1_NODE], regularizer)
biases = tf.get_variable(
"biases", [LAYER1_NODE],
initializer = tf.constant_initializer(0.0))
layer1 = tf.nn.relu(tf.matmul(input_tensor, weights) + biases)
#类似的申明第二层神经网络的变量并完成前向传播过程
with tf.variable_scope('layer2'):
weights = get_weight_variable(
[LAYER1_NODE, OUTPUT_NODE], regularizer)
biases = tf.get_variable(
'biases', [OUTPUT_NODE],
initializer = tf.constant_initializer(0.0))
layer2 = tf.matmul(layer1, weights) + biases
#返回最后前向传播的结果。
return layer2
扫一扫
8847
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
