http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html
网址中的代码比较旧了,在最新的tensorflow上运行有warning和错误。
先上修改后的代码和注释:
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#mnist已经作为官方的例子,做好了数据下载,分割,转浮点等一系列工作,源码在tensorflow源码中都可以找到
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
# 配置每个 GPU 上占用的内存的比例
# 没有GPU直接sess = tf.Session()
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.95)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))
#占位符,定义了输入,输出
x = tf.placeholder(tf.float32,[None, 784])
y_ = tf.placeholder(tf.float32,[None, 10])
#权重和偏置,使用0初始化
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
#初始化sess中所有变量
init = tf.global_variables_initializer()
sess.run(init)
#这里定义的网络结构
y = tf.nn.softmax(tf.matmul(x,W) + b)
#损失函数是交叉熵
cross_entropy = -tf.reduce_sum(y_*tf.log(y))
#训练方法:SGD
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
#训练1000次
for i in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict = {x: batch_xs, y_: batch_ys})
#计算最终的准确率
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x:mnist.test.images, y_: mnist.test.labels}))
开始各种实验,想法:
1)交叉熵有现成的函数:
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_,logits=y))
为什么用交叉熵:
使用二次代价函数有很大的问题就是误差越大,变化越慢,误差小,反而变化快了,这样误差降低的速度慢,也难以找到最优位置(会冲过头)
交叉熵是误差越大,变化越大,误差越小,变化越小,完美!
从误差函数的表达形式来看,交叉熵误差函数适合离散变量(最大似然估计),均方差误差函数适合连续变量(线性回归)。调整效率还要考虑适合的步长,不能单纯的考虑梯度。(复习一中可以很明显看到这个情况)
tf.nn.sigmoid_cross_entropy_with_logits()来表示跟sigmoid搭配使用的交叉熵。
tf.nn.softmax_cross_entropy_with_logits()来表示跟softmax搭配使用的交叉熵。
对数释然函数公式:
p(x)为真实分布概率,q(x)为预测分布概率,所以代码中p(x)为y_,q(x)为y
2)切换其他优化器,结果居然报错,查了好久,最终发现是init函数需要在定义优化器后调用!
代码果然比较旧,坑啊!
train_step = tf.train.MomentumOptimizer(learning_rate=0.5,momentum=0.9).minimize(cross_entropy)
init = tf.global_variables_initializer()
sess.run(init)
3)最终计算准确率部分
首先,sess中的任何部分要看到值,都必须要run起来才行,
看预测值:
print(sess.run(y, feed_dict={x:mnist.test.images[:1], y_: mnist.test.labels[:1]}))
输出:
[[ 1.78466977e-10 1.68649057e-18 3.33368083e-10 3.90079066e-07
1.12581595e-13 1.33803775e-11 6.41859121e-16 9.99999642e-01
2.40369891e-10 1.65016747e-08]]
找到最大值的ID
print(sess.run(tf.argmax(y,1), feed_dict={x:mnist.test.images[:1], y_: mnist.test.labels[:1]}))
输出:7
和标签比较
print(sess.run(correct_prediction, feed_dict={x:mnist.test.images[:1], y_: mnist.test.labels[:1]}))
输出:True
将比较结果转化为浮点数
print(sess.run(tf.cast(correct_prediction, tf.float32), feed_dict={x:mnist.test.images[:1], y_: mnist.test.labels[:1]}))
最终结果有1、有0,直接取平均值,这就得到了准确率:
所以最终代码几个样子的:
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x:mnist.test.images, y_: mnist.test.labels}))
搞定,收工,说白了就是tf自己定义了点函数,要用的时候还得run一次。
如果将这个数据都取出来,用numpy处理,肯定也是一样的结果。