from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/home/piker/PycharmProjects/tensorflow/data/", one_hot=True)
import tensorflow as tf
learning_rate = 0.1
num_steps = 500 # 隐藏层节点数。
batch_size = 128 # 一个训练batch中的训练数据个数。
display_step = 100
n_hidden_1 = 256 # 1st层数的神经元
n_hidden_2 = 256 # 2nd层数的神经元
num_input = 784 # MNIST data input (img shape: 28*28)
num_classes = 10 # MNIST total classes (0-9 digits)
# tf Graph input
x = tf.placeholder("float", [None, num_input])
y = tf.placeholder("float", [None, num_classes])
# tf.random_normal()函数用于从服从指定正太分布的数值中取出指定个数的值。
# tf.Variable(initializer,name),参数initializer是初始化参数,name是可自定义的变量名称
# 存储层重量*偏差
weights = {
'h1': tf.Variable(tf.random_normal([num_input, n_hidden_1])),
'h2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])),
'out': tf.Variable(tf.random_normal([n_hidden_2, num_classes]))
}
biases = {
'b1': tf.Variable(tf.random_normal([n_hidden_1])),
'b2': tf.Variable(tf.random_normal([n_hidden_2])),
'out': tf.Variable(tf.random_normal([num_classes]))
}
def neural_net(x):
# tf.matmul 将矩阵a*b
# 与256个神经元隐藏完全连接的层
layer_1 = tf.add(tf.matmul(x, weights['h1']), biases['b1'])
layer_2 = tf.add(tf.matmul(layer_1, weights['h2']), biases['b2'])
# 为每个类输出完全连接的层和神经元
out_layer = tf.matmul(layer_2, weights['out']) + biases['out']
return out_layer
logits = neural_net(x)
prediction = tf.nn.softmax(logits)
# 定义损失
# label的含义就是一个分类标签,所不同的是,这个label是分类的概率(即概率之合加起来为1)
# logit的值域范围[-inf,+inf] log(发生事件A次数 / 其他事件的次数(即不发生A的次数)
# 第一个参数logits:就是神经网络最后一层的输出,如果有batch的话,它的大小就是[batchsize,num_classes],
# 单样本的话,大小就是num_classes
# 第二个参数labels:实际的标签,大小同上
# tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None) 计算loss,loss是代价值
# tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴(tensor的某一维度)上的的平均值,
# 主要用作降维或者计算tensor(图像)的平均值。
# reduce_mean(input_tensor, 输入的待降维的tensor;
# axis=None, 指定的轴,如果不指定,则计算所有元素的均值;
# keep_dims=False, 是否降维度,设置为True,输出的结果保持输入tensor的形状,
# 设置为False,输出结果会降低维度;
# name=None, 操作的名称;
# reduction_indices=None) 在以前版本中用来指定轴,已弃用;
loss_op = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y))
# 此函数是Adam优化算法:是一个寻找全局最优点的优化算法,引入了二次方梯度校正。
# tf.train.AdamOptimizer(learning_rate).minimize(loss)
# learning_rate: A Tensor or a floating point value. The learning rate.
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(loss_op)
# tf.equal(A, B)是对比这两个矩阵或者向量的相等的元素,
# 如果是相等的那就返回True,反正返回False,返回的值的矩阵维度和A是一样的
# tf.argmax(vector, 1):返回的是vector中的最大值的索引号
# A = [[1,3,4,5,6]]
# B = [[1,3,4], [2,4,1]]
# with tf.Session() as sess:
# print(sess.run(tf.argmax(A, 1)))
# print(sess.run(tf.argmax(B, 1)))
# 输出:
# [4]
# [2 1]
correct_pred = tf.equal(tf.argmax(prediction, 1), tf.argmax(y, 1))
# tf.cast()函数的作用是执行 tensorflow 中张量数据类型转换,
# 比如读入的图片如果是int8类型的,一般在要在训练前把图像的数据格式转换为float32。
# cast(x, dtype, name=None)
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
init = tf.global_variables_initializer()
with tf.Session() as sess:
# 运行初始化程序
sess.run(init)
for step in range(1, num_steps + 1):
# 从train的集合选取batch_zise个训练数据
# xs,ys=mnist.train.next_batch(batch_size)
# print(ys.shape)
batch_x, batch_y = mnist.train.next_batch(batch_size)
# 运行优化器
sess.run(train_op, feed_dict={x: batch_x, y: batch_y})
if step % display_step == 0 or step == 1:
# Calculate batch loss and accuracy 计算损失值与准确性
loss, acc = sess.run([loss_op, accuracy], feed_dict={x: batch_x,
y: batch_y})
print("Step " + str(step) + ", Minibatch Loss= " + \
"{:.4f}".format(loss) + ", Training Accuracy= " + \
"{:.3f}".format(acc))
print("Optimization Finished!")
# Calculate accuracy for MNIST test images
print("Testing Accuracy:", \
sess.run(accuracy, feed_dict={x: mnist.test.images,
y: mnist.test.labels}))