tensorflow复习日记（二）softmax模型

http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html
网址中的代码比较旧了，在最新的tensorflow上运行有warning和错误。
先上修改后的代码和注释：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#mnist已经作为官方的例子，做好了数据下载，分割，转浮点等一系列工作，源码在tensorflow源码中都可以找到
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

# 配置每个 GPU 上占用的内存的比例
# 没有GPU直接sess = tf.Session()
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.95)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))
#占位符，定义了输入，输出
x = tf.placeholder(tf.float32,[None, 784]) 
y_ = tf.placeholder(tf.float32,[None, 10]) 
#权重和偏置，使用0初始化
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
#初始化sess中所有变量
init = tf.global_variables_initializer() 
sess.run(init) 
#这里定义的网络结构
y = tf.nn.softmax(tf.matmul(x,W) + b)
#损失函数是交叉熵
cross_entropy = -tf.reduce_sum(y_*tf.log(y))
#训练方法：SGD
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
#训练1000次
for i in range(1000): 
    batch_xs, batch_ys = mnist.train.next_batch(100) 
    sess.run(train_step, feed_dict = {x: batch_xs, y_: batch_ys}) 
#计算最终的准确率
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 
print(sess.run(accuracy, feed_dict={x:mnist.test.images, y_: mnist.test.labels}))

开始各种实验，想法：
1）交叉熵有现成的函数：

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_,logits=y))

为什么用交叉熵：
使用二次代价函数有很大的问题就是误差越大，变化越慢，误差小，反而变化快了，这样误差降低的速度慢，也难以找到最优位置（会冲过头）
交叉熵是误差越大，变化越大，误差越小，变化越小，完美！
从误差函数的表达形式来看，交叉熵误差函数适合离散变量（最大似然估计），均方差误差函数适合连续变量（线性回归）。调整效率还要考虑适合的步长，不能单纯的考虑梯度。（复习一中可以很明显看到这个情况）
tf.nn.sigmoid_cross_entropy_with_logits()来表示跟sigmoid搭配使用的交叉熵。
tf.nn.softmax_cross_entropy_with_logits()来表示跟softmax搭配使用的交叉熵。
对数释然函数公式：

p(x)为真实分布概率，q(x)为预测分布概率，所以代码中p(x)为y_，q(x)为y
2）切换其他优化器，结果居然报错，查了好久，最终发现是init函数需要在定义优化器后调用！
代码果然比较旧，坑啊！

train_step = tf.train.MomentumOptimizer(learning_rate=0.5,momentum=0.9).minimize(cross_entropy)
init = tf.global_variables_initializer() 
sess.run(init) 

3）最终计算准确率部分
首先，sess中的任何部分要看到值，都必须要run起来才行，
看预测值：

print(sess.run(y, feed_dict={x:mnist.test.images[:1], y_: mnist.test.labels[:1]}))

输出：
[[ 1.78466977e-10 1.68649057e-18 3.33368083e-10 3.90079066e-07
1.12581595e-13 1.33803775e-11 6.41859121e-16 9.99999642e-01
2.40369891e-10 1.65016747e-08]]
找到最大值的ID

print(sess.run(tf.argmax(y,1), feed_dict={x:mnist.test.images[:1], y_: mnist.test.labels[:1]}))

输出：7
和标签比较

print(sess.run(correct_prediction, feed_dict={x:mnist.test.images[:1], y_: mnist.test.labels[:1]}))

输出：True
将比较结果转化为浮点数

print(sess.run(tf.cast(correct_prediction, tf.float32), feed_dict={x:mnist.test.images[:1], y_: mnist.test.labels[:1]}))

最终结果有1、有0，直接取平均值，这就得到了准确率：
所以最终代码几个样子的：

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 
print(sess.run(accuracy, feed_dict={x:mnist.test.images, y_: mnist.test.labels}))

搞定，收工，说白了就是tf自己定义了点函数，要用的时候还得run一次。
如果将这个数据都取出来，用numpy处理，肯定也是一样的结果。