这些博客梳理自极客学院整理的TensorFlow官方文档中文版,链接在下面。
#########################
本章参考内容:MNIST机器学习入门
详细资料请参考:http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html。
一些机器学习算法的具体实现我会陆续更新在另一个系列博客中: Tensorflow算法补充--机器学习算法Python实现 中
现在对一些值得注意的地方说一下。
########################
1.我们从MNIST导入的数据都是经过pooling(池化)的,因为都是从二维图片得到一维向量,而图片是由28*28=784个pixel组成的。pooling造成的信息损失我们先不用考虑。
2.过程大概如下: 数据集包含两部分:image, label;对于第i行, image([i, 0], [i, 1]......[i, 783])是[0,1]之间的某个数,代表了该pixel的强度,而相应的label([i,0]......[i,9])是一个one-hot向量,即只有一个元素是1.其余都是0。1的位置对应着该图片所代表的数字。eg.:label(0,0,0,1,0,0,0,0,0,0)代表该行数字为3。什么是一行?一行就是一个测试数据(图片),被分成了image&label两部分保存下来了。
3.我们要构建的仅仅是一个含有输入--输出两层的感知器。所以模型非常固定。唯一可变的东西就是nonlinear-encouragement的函数选择。分类问题我们多用softmax函数进行处理。(感知器数学模型参考开头的资料)
4.里面使用了一个比较重要的算法:stochastic gradient descent,对于一个参数每次遍历训练集随机选取一定规模数据进行训练(repeatedly)。相对的算法是batch gradient descent, 对一个参数利用所有数据去更新一次就完成了......
5.里面还有一个比较重要的loss函数:交叉熵,有待研究。为什么它的性质那么好呢......
6. 为了理解代码还有最后两个知识点要补充:占位符和feed--fetch机制。
占位符placeholder
我的理解就是很像c里面动态分配了一块“空间”出来,空间指定了其内容的大小和类型,而里面填充什么内容需要经过之后的处理才知道。
Feed--Fetch机制
feed使用一个tensor值临时替换一个操作的输出结果。通俗地说,就是把神经网络的结构与数据分开。对于一个节点,我们可以事先通过placeholder开辟一块空间,然后在session中给它“喂”数据。使用的方法是Python的字典。记得方法结束后feed就会消失。(temporary)
#...
input1 = tf.placeholder(tf.type.float32, [1, 5], name="input1")
#...
with tf.Session() as sess:
print sess.run(input1, feed_dict={input1:[0., 1., 2., 3., 4.]})
这里给input1这个变量喂了一维向量。。。fetch没有显示表达的函数,就是在session运行时传入一些tensor去取回结果。其实每次执行sess.run(var)都是一次fetch,只不过这些都是只传入了一个tensor。如果取回多个,就要以List形式传入多个tensor: sess.run([tensor1, tensor2,...])
接下来是代码部分,讲解内容已经注释在里面,就是对过程的叙述。由于vm ware没有中文输入法所以均为英文~
import time
start = time.clock()
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
print '\nexample3: Simple NN in MNIST, by ORCA\n'
#NN parameters
n_input = 784 #28*28
n_class = 10 #number 0~~9
#design your model with vars and parameters
x = tf.placeholder("float", [None, n_input])
W = tf.Variable(tf.zeros([n_input, n_class])) #n_input/n_class is not allowed in Variable function......
b = tf.Variable(tf.zeros([n_class]))
y = tf.nn.softmax(tf.matmul(x, W)+b) #using softmax as
#finish
#design how to train your model
y_ = tf.placeholder("float", [None, n_class]) #y_ stands for real distribution
cross_entropy = -tf.reduce_sum(y_*tf.log(y)) #cross_entropy as nonlinear encouragement
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
#finish
#now, begin session and start your training
init_op = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init_op)
for i in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x:batch_xs, y_:batch_ys})
#finish
#how to evaluate our model?
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
print sess.run(accuracy, feed_dict={x:mnist.test.images, y_:mnist.test.labels})
sess.close()
#finish
print '\nFinish your training within', time.clock()-start, 'seconds\n'
<注:其中两个函数,cross_entropy函数是用来训练模型的loss函数,而accuracy函数是用来评估模型好坏的,具有不同的功能>
下图是我分别训练100次和1000次得到的准确率(即修改循环中的参数i)
第二次用时少大概是使用了第一次抽取数据后的缓存......
天空鱼
Every Machine owns a heart