Tensorflow自我训练进阶（代码+注解）【2】第一个神经网络--简单感知器处理MNIST

这些博客梳理自极客学院整理的TensorFlow官方文档中文版，链接在下面。

#########################

本章参考内容：MNIST机器学习入门

详细资料请参考：http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html。

一些机器学习算法的具体实现我会陆续更新在另一个系列博客中： Tensorflow算法补充--机器学习算法Python实现 中

现在对一些值得注意的地方说一下。

########################

1.我们从MNIST导入的数据都是经过pooling（池化）的，因为都是从二维图片得到一维向量，而图片是由28*28=784个pixel组成的。pooling造成的信息损失我们先不用考虑。

2.过程大概如下： 数据集包含两部分：image, label；对于第i行， image([i, 0], [i, 1]......[i, 783])是[0,1]之间的某个数，代表了该pixel的强度，而相应的label([i,0]......[i,9])是一个one-hot向量，即只有一个元素是1.其余都是0。1的位置对应着该图片所代表的数字。eg.:label(0,0,0,1,0,0,0,0,0,0)代表该行数字为3。什么是一行？一行就是一个测试数据（图片），被分成了image&label两部分保存下来了。

3.我们要构建的仅仅是一个含有输入--输出两层的感知器。所以模型非常固定。唯一可变的东西就是nonlinear-encouragement的函数选择。分类问题我们多用softmax函数进行处理。（感知器数学模型参考开头的资料）

4.里面使用了一个比较重要的算法：stochastic gradient descent,对于一个参数每次遍历训练集随机选取一定规模数据进行训练(repeatedly)。相对的算法是batch gradient descent, 对一个参数利用所有数据去更新一次就完成了......

5.里面还有一个比较重要的loss函数：交叉熵，有待研究。为什么它的性质那么好呢......

6. 为了理解代码还有最后两个知识点要补充：占位符和feed--fetch机制。

占位符placeholder

我的理解就是很像c里面动态分配了一块“空间”出来，空间指定了其内容的大小和类型，而里面填充什么内容需要经过之后的处理才知道。

Feed--Fetch机制

feed使用一个tensor值临时替换一个操作的输出结果。通俗地说，就是把神经网络的结构与数据分开。对于一个节点，我们可以事先通过placeholder开辟一块空间，然后在session中给它“喂”数据。使用的方法是Python的字典。记得方法结束后feed就会消失。（temporary）

#...
input1 = tf.placeholder(tf.type.float32, [1, 5], name="input1")
#...
with tf.Session() as sess：
    print sess.run(input1, feed_dict={input1:[0., 1., 2., 3., 4.]})
    

这里给input1这个变量喂了一维向量。。。
fetch没有显示表达的函数，就是在session运行时传入一些tensor去取回结果。其实每次执行sess.run(var)都是一次fetch，只不过这些都是只传入了一个tensor。如果取回多个，就要以List形式传入多个tensor: sess.run([tensor1, tensor2,...])

接下来是代码部分，讲解内容已经注释在里面，就是对过程的叙述。由于vm ware没有中文输入法所以均为英文~

import time  
start = time.clock()  
import tensorflow as tf  
from tensorflow.examples.tutorials.mnist import input_data  
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)  
  
print '\nexample3: Simple NN in MNIST, by ORCA\n'  
  
#NN parameters  
n_input = 784   #28*28  
n_class = 10    #number 0~~9  
  
#design your model with vars and parameters  
x = tf.placeholder("float", [None, n_input])  
W = tf.Variable(tf.zeros([n_input, n_class]))  #n_input/n_class is not allowed in Variable function......  
b = tf.Variable(tf.zeros([n_class]))  
y = tf.nn.softmax(tf.matmul(x, W)+b) #using softmax as   
#finish  
  
#design how to train your model  
y_ = tf.placeholder("float", [None, n_class]) #y_ stands for real distribution  
cross_entropy = -tf.reduce_sum(y_*tf.log(y))  #cross_entropy as nonlinear encouragement  
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)  
#finish  
  
#now, begin session and start your training  
init_op = tf.initialize_all_variables()  
sess = tf.Session()  
sess.run(init_op)  
for i in range(1000):  
    batch_xs, batch_ys = mnist.train.next_batch(100)  
    sess.run(train_step, feed_dict={x:batch_xs, y_:batch_ys})  
#finish  
  
#how to evaluate our model?  
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))  
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))  
print sess.run(accuracy, feed_dict={x:mnist.test.images, y_:mnist.test.labels})  
sess.close()  
#finish  
  
print '\nFinish your training within', time.clock()-start, 'seconds\n'  

<注：其中两个函数，cross_entropy函数是用来训练模型的loss函数，而accuracy函数是用来评估模型好坏的，具有不同的功能>

下图是我分别训练100次和1000次得到的准确率（即修改循环中的参数i）

第二次用时少大概是使用了第一次抽取数据后的缓存......

天空鱼

Every Machine owns a heart