【20170630】TensorFlow与python学习(2)-Mnist入门

1 mnist入门 TensorFlow中文社区教程
http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.html
2 自动下载和安装mnist数据集
2.1 报错
import input_data就会报错ImportError: No module named input_data
2.2解决方法
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/examples/tutorials/mnist，安装input_data.py,
在这里下载后，在终端输入Python input_data.py就好了
2.3下载mnist数据集

import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

**2.4 python代码**

import tensorflow as tf
import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

x = tf.placeholder("float", [None, 784])

W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x,W) + b)
y_ = tf.placeholder("float", [None,10])
cross_entropy = -tf.reduce_sum(y_*tf.log(y))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)

for i in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))

accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

**2.5实验结果**

accuracy=0.9106

3思考
3.1 数据集分析
train set: 60000行（mnist.train）
test set: 10000行（mnist.test）
数据单元：xs(mnist.train/test.images)+ys(mnist.train/test.labels)
3.2数据预处理
xs:28*28像素，数组展成784维的向量
mnist.train.images:[60000,784]张量，属于[0,1]
mnist.train.labels:[60000,10]张量，属于[0,9]（one-hot-vectors）
3.3 文件分析
train-images-idx3-ubyte.gz 训练集图片55000 张 训练图片, 5000 张 验证图片
train-labels-idx1-ubyte.gz 训练集图片对应的数字标签
t10k-images-idx3-ubyte.gz 测试集图片 - 10000 张 图片
t10k-labels-idx1-ubyte.gz 测试集图片对应的数字标签
3.4 解压重构的数据集
data_sets.train 55000 组
图片和标签, 用于训练。
data_sets.validation 5000 组
图片和标签, 用于迭代验证训练的准确性。
data_sets.test 10000 组
图片和标签, 用于最终测试训练的准确性。
4softmax回归分析：图片像素值进行加权求和
y=softmax(Wx+b)

5.训练模型
5.1交叉熵

y 是我们预测的概率分布, y’ 是实际的分布（我们输入的one-hot vector)。比较粗糙的理解是，交叉熵是用来衡量我们的预测用于描述真相的低效性。
5.2梯度下降算法（gradient descent algorithm）
以0.01的学习速率最小化交叉熵。梯度下降算法（gradient descent algorithm）是一个简单的学习过程，TensorFlow只需将每个变量一点点地往使成本不断降低的方向移动。