构建一个简单的神经网络（又名多层感知器）来对MNIST数字数据集进行分类--学习笔记

 

参考代码：neural_network_raw.py

from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets("/home/piker/PycharmProjects/tensorflow/data/", one_hot=True)
import tensorflow as tf

learning_rate = 0.1
num_steps = 500  # 隐藏层节点数。
batch_size = 128  # 一个训练batch中的训练数据个数。
display_step = 100

n_hidden_1 = 256  # 1st层数的神经元
n_hidden_2 = 256  # 2nd层数的神经元
num_input = 784  # MNIST data input (img shape: 28*28)
num_classes = 10  # MNIST total classes (0-9 digits)

# tf Graph input
x = tf.placeholder("float", [None, num_input])
y = tf.placeholder("float", [None, num_classes])

# tf.random_normal()函数用于从服从指定正太分布的数值中取出指定个数的值。
# tf.Variable(initializer,name),参数initializer是初始化参数，name是可自定义的变量名称
# 存储层重量*偏差
weights = {
    'h1': tf.Variable(tf.random_normal([num_input, n_hidden_1])),
    'h2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])),
    'out': tf.Variable(tf.random_normal([n_hidden_2, num_classes]))
}
biases = {
    'b1': tf.Variable(tf.random_normal([n_hidden_1])),
    'b2': tf.Variable(tf.random_normal([n_hidden_2])),
    'out': tf.Variable(tf.random_normal([num_classes]))
}


def neural_net(x):
    # tf.matmul 将矩阵a*b
    # 与256个神经元隐藏完全连接的层
    layer_1 = tf.add(tf.matmul(x, weights['h1']), biases['b1'])
    layer_2 = tf.add(tf.matmul(layer_1, weights['h2']), biases['b2'])
    # 为每个类输出完全连接的层和神经元
    out_layer = tf.matmul(layer_2, weights['out']) + biases['out']
    return out_layer


logits = neural_net(x)
prediction = tf.nn.softmax(logits)

# 定义损失
# label的含义就是一个分类标签，所不同的是，这个label是分类的概率(即概率之合加起来为1）
# logit的值域范围[-inf,+inf] log(发生事件A次数 /  其他事件的次数（即不发生A的次数)
# 第一个参数logits：就是神经网络最后一层的输出，如果有batch的话，它的大小就是[batchsize，num_classes]，
# 单样本的话，大小就是num_classes
# 第二个参数labels：实际的标签，大小同上
# tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None) 计算loss,loss是代价值
# tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，
# 主要用作降维或者计算tensor（图像）的平均值。
# reduce_mean(input_tensor,  输入的待降维的tensor;
#                 axis=None, 指定的轴，如果不指定，则计算所有元素的均值;
#                 keep_dims=False, 是否降维度，设置为True，输出的结果保持输入tensor的形状，
#                                   设置为False，输出结果会降低维度;
#                 name=None, 操作的名称;
#                 reduction_indices=None) 在以前版本中用来指定轴，已弃用;
loss_op = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y))

# 此函数是Adam优化算法：是一个寻找全局最优点的优化算法，引入了二次方梯度校正。
# tf.train.AdamOptimizer(learning_rate).minimize(loss)
# learning_rate: A Tensor or a floating point value. The learning rate.
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
train_op = optimizer.minimize(loss_op)

# tf.equal(A, B)是对比这两个矩阵或者向量的相等的元素，
# 如果是相等的那就返回True，反正返回False，返回的值的矩阵维度和A是一样的
# tf.argmax(vector, 1)：返回的是vector中的最大值的索引号
# A = [[1,3,4,5,6]]
# B = [[1,3,4], [2,4,1]]
# with tf.Session() as sess:
#     print(sess.run(tf.argmax(A, 1)))
#     print(sess.run(tf.argmax(B, 1)))
# 输出：
# [4]
# [2 1]
correct_pred = tf.equal(tf.argmax(prediction, 1), tf.argmax(y, 1))
# tf.cast()函数的作用是执行 tensorflow 中张量数据类型转换，
# 比如读入的图片如果是int8类型的，一般在要在训练前把图像的数据格式转换为float32。
# cast(x, dtype, name=None)
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))

init = tf.global_variables_initializer()

with tf.Session() as sess:
    # 运行初始化程序
    sess.run(init)
    for step in range(1, num_steps + 1):
        # 从train的集合选取batch_zise个训练数据
        # xs,ys=mnist.train.next_batch(batch_size)
        # print(ys.shape)
        batch_x, batch_y = mnist.train.next_batch(batch_size)
        # 运行优化器
        sess.run(train_op, feed_dict={x: batch_x, y: batch_y})
        if step % display_step == 0 or step == 1:
            # Calculate batch loss and accuracy 计算损失值与准确性
            loss, acc = sess.run([loss_op, accuracy], feed_dict={x: batch_x,
                                                                 y: batch_y})
            print("Step " + str(step) + ", Minibatch Loss= " + \
                  "{:.4f}".format(loss) + ", Training Accuracy= " + \
                  "{:.3f}".format(acc))

    print("Optimization Finished!")

    # Calculate accuracy for MNIST test images
    print("Testing Accuracy:", \
          sess.run(accuracy, feed_dict={x: mnist.test.images,
                                        y: mnist.test.labels}))