MNIST数据库官网
推荐阅读Tensorflow官方文档中文版 MNIST机器学习入门
以及黄文坚、唐源编著的《TensorFlow实战》
注:本文非标准教程,仅是总结个人学习过程,可能存在纰漏,如有错误之处欢迎留言告知,非常感谢
一、加载MNIST数据
在这之前需要先安装IPYTHON以便能在terminal中编写python代码
sudo apt-get install ipython-notebook
虽然直接输入python命令也可以编写python代码,但ipython的优点是提供了代码自动补全,自动缩进,高亮显示等功能。
打开terminal输入
ipython
输入以下代码:
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("./MNIST_data/", one_hot=True) #在MNIST_data目录中加载MNIST数据集
import tensorflow as tf
sess = tf.InteractiveSession()
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x,W) + b)
y_ = tf.placeholder(tf.float32, [None,10])
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y),reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
tf.global_variables_initializer().run() #执行
for i in range(1000):
batch_xs,batch_ys = mnist.train.next_batch(100)
train_step.run({x:batch_xs,y_:batch_ys})
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
print(accuracy.eval({x:mnist.test.images,y_:mnist.test.labels})) #打印准确率
每行代码的含义在《TensorFlow实战》中有详细介绍
极客学院中TensorFlow官方文档中文版 MNIST机器学习入门也有介绍
如下图是运行成功后的截图:
如图最后一行可以看到训练的结果的平均准确率为91.99%
以上例子仅是使用tensorflow实现了一个简单的机器学习算法Soft Regressin,结果是较为不精确的,这可以算作是一个没有隐含层的最浅的神经网络。
整个流程我们做的事情有4个部分:
(1)定义算法公式
(2)定义loss,选定优化器
(3)迭代地对数据进行训练
(4)在测试集或验证集上对准确率进行评测
这几个步骤是我们使用TensorFlow进行算法设计、训练的核心步骤,也贯穿其他类型神经网络。接下来我将继续学习其他算法提高准确率
二、可能出现的错误
1.
version `CXXABI_1.3.8' not found
解决方法:
conda update libgcc
cd ~/anaconda3/lib
mv libstdc++.so libstdc++.so.bkp
mv libstdc++.so.6 libstdc++.so.6.bkp
进一步(可选)在anoconda库中创建一个软链接 ln -s /usr/lib/x86_64-linux-gnu/libstdc++.so.6 libstdc++.so.6
2.
name 'input_data' is not defined
那么由这两行代码
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("./MNIST_data/", one_hot=True)
替代
import tensorflow.examples.tutorials.mnist.input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
这两行代码的作用是在MNIST_data目录中加载生成这四个小可爱
其实就是MNIST的训练集和测试集
3.报错
urlopen error [Errno 101] Network is unreachable
大概是网络不稳,重新再来一次就行了
三、查看MNIST数据集的情况
print(mnist.train.images.shape,mnist.train.labels.shape)
print(mnist.test.images.shape,mnist.test.labels.shape)
print(mnist.validation.images.shape,mnist.validation.labels.shape)
可以看到训练集有55000个样本,测试集有10000个样本,验证集有5000个样本
每个样本都有它对应的标注信息,就是label
训练数据是55000×784的Tensor:
训练数据label是一个55000×10的Tensor:
只有一个值为1,其余为0,label是一个十维向量。
如图,0为[1,0,0,0,0,0,0,0,0,0,0]
1为[0,1,0,0,0,0,0,0,0,0,0]以此类推,数字n就表示为对应位置的值为1。
四、Soft Regression算法
以上代码使用了Soft Regression算法,这个算法是训练手写数字识别的分类模型。
数字0~9一共有10个类别,Soft Regression对每一个类别估算概率,比如当模型对数字3的图片进行预测时,假设预测是数字3的概率为80%,预测是数字5的概率是5%,最后取概率最大的那个为模型的输出结果。
如图,明亮区域代表负的权重,灰暗区域代表真正的权重。