Tensorflow学习：优化器

Tensorflow学习：优化器

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# 载入数据集
mnist = input_data.read_data_sets("MNST_data", one_hot=True)

# 每个批次的大小：一次性向神经网络中放入100张图片进行训练:以矩阵的形式放进去
batch_size = 100
# 计算一共多少个批次 //:整除
n_batch = mnist.train.num_examples // batch_size

# 定义两个placeholder  None:过会以一个批次喂进去，784：28*28(把一个图片拉成一个784的向量) 10:输出时0-9的10个数
x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])

# 定义一个简单的神经网络（只有输入层784个神经元，输出层10个神经元，不用隐层）
# 定义权值
W = tf.Variable(tf.zeros([784, 10]))
# 定义偏向值
b = tf.Variable(tf.zeros([10]))
# 通过softmax函数转化为概率值
prediction = tf.nn.softmax(tf.matmul(x, W) + b)

# 二次代价函数
# loss = tf.reduce_mean(tf.square(y - prediction))
# 对数似然代价函数（加快收敛的速度）:label:真实标签值，logits：预测值，需要求下平均值
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=prediction))
# 使用随机梯度下降法进行优化：是loss最小化,学习率：0.2
# train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)
# 更换优化器
train_step = tf.train.AdamOptimizer(0.001).minimize(loss)

# 初始化变量
init = tf.global_variables_initializer()

# 判断真实值与预测值是否相同（布尔类型），相同返回true
# tf.arg_max(prediction,1):求概率最大的数在哪个位置，相当于他的标签（返回一维张量中最大的值所在的位置）
correct_prediction = tf.equal(tf.argmax(y, 1), tf.arg_max(prediction, 1))

# 求准确率：cast：将bool类型转换成32位float类型，然后求一个平均值（true=1，false=0）
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# 进行训练
with tf.Session() as sess:
    # 初始化变量
    sess.run(init)
    # 训练次数：迭代21次
    for step in range(21):
        for batch in range(n_batch):
            # 获得一个批次：100张图片
            batch_xs, batch_ys = mnist.train.next_batch(batch_size)
            # 把数据喂给它进行训练
            sess.run(train_step, feed_dict={x: batch_xs, y: batch_ys})
        # 进行完一次迭代训练打印出准确率：测试用的测试集中的图片和标签
        acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels})
        print("Iter" + str(step) + ",Testing Accuracy：" + str(acc))

运行结果：

2020-08-03 20:28:43.088943: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1165]      
Iter0,Testing Accuracy：0.8999
Iter1,Testing Accuracy：0.9123
Iter2,Testing Accuracy：0.9164
Iter3,Testing Accuracy：0.9195
Iter4,Testing Accuracy：0.9219
Iter5,Testing Accuracy：0.9241
Iter6,Testing Accuracy：0.9255
Iter7,Testing Accuracy：0.9273
Iter8,Testing Accuracy：0.9273
Iter9,Testing Accuracy：0.929
Iter10,Testing Accuracy：0.9296
Iter11,Testing Accuracy：0.93
Iter12,Testing Accuracy：0.9296
Iter13,Testing Accuracy：0.9305
Iter14,Testing Accuracy：0.9307
Iter15,Testing Accuracy：0.9297
Iter16,Testing Accuracy：0.9322
Iter17,Testing Accuracy：0.9313
Iter18,Testing Accuracy：0.9317
Iter19,Testing Accuracy：0.9308
Iter20,Testing Accuracy：0.9319

Process finished with exit code 0