前言
学以致用,以学促用。输出检验,完整闭环。
怕什么真理无穷,进一寸有一寸的欢喜——胡适
经过前段时间的努力,已经在电脑上搭好了深度学习系统,接下来就要开始跑程序了,将AI落地了。
安装win10下tensforlow 可以参照之前的例子:win10+gpu安装
在使用gpu版本中一些特别的问题,可以参照这篇:win10+tensorflow+gpu
在运行过程中遇到的一些错误,可以参照这篇::tensorflow 错误
tensorflow的一些基础概念,可以参见这篇:tensorflow学习笔记(1)
tensorflow的发展故事,可以参见这篇:tensorfow学习笔记(2)
目录
Tensorflow 第一步
这节主要总结的是安装tensorflow和训练一个手写数字识别的模型。
安装可以参考这篇帖子:
win10:tensorflow-gpu总结
Tensorflow mnist数据集
数据集的介绍可参考之前的文档:经验
这节代码主要参考github上的源码
主要使用的算法是softmax regression算法。
soft regression简介
输入一张图片后,soft regression会对每个类别给出一个估计的概率,最后取概率最大的类别作为输出结果。
具体可以参照:softmax详解
简单公式如下:
featurei=∑jwi,jxj+bj
f
e
a
t
u
r
e
i
=
∑
j
w
i
,
j
x
j
+
b
j
其中i代表第i类,j代表一张图片的第j个像素,
bj
b
j
是bias,
featurei
f
e
a
t
u
r
e
i
第i类的概率
softmax(x)=normalize(exp(x))
s
o
f
t
m
a
x
(
x
)
=
n
o
r
m
a
l
i
z
e
(
e
x
p
(
x
)
)
其中softmax就是需要的特征。
softmax(x)i=fracexp(xi)∑jexp(xj)
s
o
f
t
m
a
x
(
x
)
i
=
f
r
a
c
e
x
p
(
x
i
)
∑
j
e
x
p
(
x
j
)
特征值越大的类输出的概率越大:
公式化
额外写在这里:
交叉熵公式:
Hy′=−∑iy′ilog(yi)
H
y
′
=
−
∑
i
y
i
′
l
o
g
(
y
i
)
>
#先导入依赖的库
import tensorflow as tf
import matplotlib.pyplot as plt
from tensorflow.examples.tutorials.mnist import input_data
#读入数据
#可能过段时间就不能这么简单的读取了。
#one-hot编码是说label的形式为【000001000】1在的位置代表它是几?
mnist=input_data.read_data_sets("MNIST_data/",one_hot=True)
#输出相关的信息
print(mnist.train.images.shape,mnist.train.labels.shape)
print(mnist.test.images.shape,mnist.test.labels.shape)
print(mnist.validation.images.shape,mnist.validation.labels.shape)
#开启一个可迭代的会话
sess=tf.InteractiveSession()
#初始化参数。
#设置占位符和变量。
x=tf.placeholder(tf.float32,[None,784])
w=tf.Variable(tf.zeros([784,10]))
b=tf.Variable(tf.zeros([10]))
#计算预测值
y=tf.nn.softmax(tf.matmul(x,w)+b)
#计算交叉熵
y_=tf.placeholder(tf.float32,[None,10])
cross_entropy=tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y),reduction_indices=[1]))
#使用随机梯度求导优化
train_step=tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
#全局参数初始化。
tf.global_variables_initializer().run()
#迭代训练100次
for i in range(1000):
#获得训练集
batch_xs,batch_ys=mnist.train.next_batch(100)
#进行训练
train_step.run({x:batch_xs,y_:batch_ys})
#预测结果判断
#实际标签和预测标签一致吗?
correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
#计算正确率
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
print(accuracy.eval({x:mnist.test.images,y_:mnist.test.labels}))
小结
通过这个例子,我们可以将一个项目结构化为四个独立的部分。
- 1定义算法公式
- 2定义loss,选定优化器,并指定优化器优化loss
- 3迭代地对数据进行训练。
4在测试集或验证集上对准确率进行评测。
需要注意的是tensorflow和spark类似,一开始只是进行了计算图设计,真的计算要调用run方法后才开始,还需要feed数据。
补充
其中发现了一篇好文档,详解mnist数据集
详解,主要是可以可视化源数据究竟是个啥。
,但博主有的部分和我的部分有区别,问题怎么也解决不了:
问题1:数据导入
X_train,y_train = load_mnist('mnist_data\')
File "E:/tensorFlow/Mycode/mnist/Main_mnist.py", line 12
X_train,y_train = load_mnist('mnist_data\')
^
SyntaxError: EOL while scanning string literal
后来,发现应该这么写:
X_train,y_train = load_mnist('E:/tensorFlow/Mycode/mnist/mnist_data/')
问题2:数据不识别
File "E:\tensorFlow\Mycode\mnist\input_dat2.py", line 20, in load_mnist
with open(labels_path,'rb') as lbpath:
PermissionError: [Errno 13] Permission denied: 'mnist_data/train-labels-idx1-ubyte'
先是参考了问题
仔细看了错误提示,发现是input_data环节出了问题:
博主的文档里面
是-labels-idx1-ubyte
将中间的-改成。以后问题消除。
展示出来了。