Tensorflow 实现 MNIST 手写数字识别

原创 2017年04月09日 16:05:52

本节笔记作为 Tensorflow 的 Hello World,用 MNIST 手写数字识别来探索 Tensorflow。笔记的内容来自 Tensorflow 中文社区和黄文坚的《Tensorflow 实战》,只作为自己复习总结。

环境:

  • Windows 10
  • Anaconda 4.3.0
  • Spyder

本节笔记主要采用 Softmax Regression 算法,构建一个没有隐层的神经网络来实现 MNIST 手写数字识别。

1. MNIST 数据集加载

MNIST 数据集可以从MNIST官网下载。也可以通过 Tensorflow 提供的 input_data.py进行载入。

由于上述方法下载数据集比较慢,我已经把下载好的数据集上传到CSDN资源中,可以直接下载。

将下载好的数据集放到目录C:/Users/Administrator/.spyder-py3/MNIST_data/下。目录可以根据自己的喜好变换,只是代码中随之改变即可。

通过运行Tensorflow 提供的代码加载数据集:

from tensorflow.examples.tutorials.mnist import input_data

# 获取数据
mnist = input_data.read_data_sets("C:/Users/Administrator/.spyder-py3/MNIST_data/", one_hot=True)

MNIST数据集包含55000样本的训练集,5000样本的验证集,10000样本的测试集。 input_data.py 已经将下载好的数据集解压、重构图片和标签数据来组成新的数据集对象。

图像是28像素x28像素大小的灰度图片。空白部分全部为0,有笔迹的地方根据颜色深浅有0~1的取值,因此,每个样本有28x28=784维的特征,相当于展开为1维。

这里写图片描述

所以,训练集的特征是一个 55000x784 的 Tensor,第一纬度是图片编号,第二维度是图像像素点编号。而训练集的 Label(图片代表的是0~9中哪个数)是一个 55000x10 的 Tensor,10是10个种类的意思,进行 one-hot 编码 即只有一个值为1,其余为0,如数字0,对于 label 为[1,0,0,0,0,0,0,0,0,0]。

这里写图片描述

这里写图片描述

2. Softmax Regression 算法

数字都是0~9之间的,一共有10个类别,当对图片进行预测时,Softmax Regression 会对每一种类别估算一个概率,并将概率最大的那个数字作为结果输出。

Softmax Regression 将可以判定为某类的特征相加,然后将这些特征转化为判定是这一个类的概率。我们对图片的所以像素求一个加权和。如某个像素的灰度值大代表很有可能是数字n,这个像素权重就很大,反之,这个权重很有可能为负值。

特征公式:

这里写图片描述

bi 为偏置值,就是这个数据本身的一些倾向。

然后用 softmax 函数把这些特征转换成概率 y :

这里写图片描述

对所有特征计算 softmax,并进行标准化(所有类别输出的概率值和为1):

这里写图片描述

判定为第 i 类的概率为:

这里写图片描述

Softmax Regression 流程如下:

这里写图片描述

转换为矩阵乘法:

这里写图片描述

这里写图片描述

写成公式如下:

这里写图片描述

3.实现模型

import tensorflow as tf
sess = tf.InteractiveSession()
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x,W) + b)

首先载入 Tensorflow 库,并创建一个新的 InteractiveSession ,之后的运算默认在这个 session 中。

  • placeholder:输入数据的地方,None 代表不限条数的输入,每条是784维的向量
  • Variable:存储模型参数,持久化的

4.训练模型

我们定义一个 loss 函数来描述模型对问题的分类精度。 Loss 越小,模型越精确。这里采用交叉熵:

这里写图片描述
其中,y 是我们预测的概率分布, y’ 是实际的分布。

y_ = tf.placeholder(tf.float32, [None,10])
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y),reduction_indices=[1]))

定义一个 placeholder 用于输入正确值,并计算交叉熵。

接着采用随机梯度下降法,步长为0.5进行训练。

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

训练模型,让模型循环训练1000次,每次随机从训练集去100条样本,以提高收敛速度。

for i in range(1000):
  batch_xs, batch_ys = mnist.train.next_batch(100)
  train_step.run({x: batch_xs, y_: batch_ys})

5.评估模型

我们通过判断实际值和预测值是否相同来评估模型,并计算准确率,准确率越高,分类越精确。

这里写图片描述

6.总结

实现的整个流程:

  1. 定义算法公式,也就是神经网络前向传播时的计算。
  2. 定义 loss ,选定优化器,并指定优化器优化 loss。
  3. 迭代地对数据进行训练。
  4. 在测试集或验证集上对准确率进行评测。

7.全部代码

import tensorflow as tf

from tensorflow.examples.tutorials.mnist import input_data

# 获取数据
mnist = input_data.read_data_sets("C:/Users/Administrator/.spyder-py3/MNIST_data/", one_hot=True)

print('训练集信息:')
print(mnist.train.images.shape,mnist.train.labels.shape)
print('测试集信息:')
print(mnist.test.images.shape,mnist.test.labels.shape)
print('验证集信息:')
print(mnist.validation.images.shape,mnist.validation.labels.shape)

# 构建图
sess = tf.InteractiveSession()
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))

y = tf.nn.softmax(tf.matmul(x,W) + b)

y_ = tf.placeholder(tf.float32, [None,10])
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y),reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

# 进行训练
tf.global_variables_initializer().run()

for i in range(1000):
  batch_xs, batch_ys = mnist.train.next_batch(100)
  train_step.run({x: batch_xs, y_: batch_ys})

# 模型评估
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

print('MNIST手写图片准确率:')
print(accuracy.eval({x: mnist.test.images, y_: mnist.test.labels}))
版权声明:本文为博主原创文章,未经博主允许不得转载。

使用Tensorflow和MNIST识别自己手写的数字

最近在学习神经网络相关的东西,发现有很多资料是Tensorflow教程上的内容,但是教程很多只是一个验证官方程序的过程。如何将官方程序变成自己可以利用的程序,网上似乎资料比较少,所以我就来介绍一下如何...
  • Sparta_117
  • Sparta_117
  • 2017年03月27日 06:17
  • 9185

Tensorflow #1 祖传例子 MNIST 手写识别

1 前语最近想学习DL,但是发现没有什么好的入门的东西,最近方向一直比较迷茫,东做做西做做,现在又来这里做Tensorflow了。关于Tensorflow 1.0是如何安装的,可以直接参照他的官方文档...
  • MebiuW
  • MebiuW
  • 2016年09月21日 12:27
  • 3936

TensorFlow 教程 - 深入MNIST完整代码

这个是TensorFlow官方教程《深入MNIST》中的完整代码。完整教程在这里。 代码注释是本人结合教程和自己的理解加的,如有错误请指正。# -*- coding: utf-8 -*- impor...
  • Toormi
  • Toormi
  • 2016年12月21日 18:46
  • 10780

TensorFlow学习笔记(二)MNIST手写数字识别

MNIST是机器学习中的Hello world,前期准备要了解Softmax (multinomial logistic ) regression MNIST的是一个简单的计算机视觉数据集,它包含一系...
  • WuyZhen_CSDN
  • WuyZhen_CSDN
  • 2017年03月22日 17:20
  • 1595

tensorflow-mnist手写数字识别

  • 2017年04月14日 23:27
  • 11.06MB
  • 下载

spyder+tesorflow+mnist

网上有很多代码,但实际上还是tensorflow的官网上的代码最好用了,小小的纪念一下我的第一个神经网络,嘻嘻 import tensorflow.examples.tutorials.mnist....
  • he5688
  • he5688
  • 2017年02月25日 12:34
  • 386

基于tensorflow的MNIST手写数字识别

一、tensorflow手写数字识别的大致步骤 1、将要识别的图片转为灰度图,并且转化为28*28矩阵(单通道,每个像素范围0-255,0为黑色,255为白色,这一点与MNIST中的正好相反) 2...
  • daydayup_668819
  • daydayup_668819
  • 2017年02月22日 11:09
  • 515

TensorFlow学习笔记(3)----CNN识别MNIST手写数字

介绍TF实现CNN识别MNIST的实现
  • PhDat101
  • PhDat101
  • 2016年09月01日 20:25
  • 4134

TensorFlow代码实现(一)[MNIST手写数字识别]

最简单的神经网络结构: 数据源准备:数据在之前的文章中分析过了 在这里我们就构造一层神经网络: 前提准备: 参数: train images:因为图片是28*28的个数,换算成一维数组就是784...
  • sysstc
  • sysstc
  • 2017年07月10日 14:34
  • 861

基于tensorflow的MNIST手写数字识别(二)--入门篇

一、本文的意义 因为谷歌官方其实已经写了MNIST入门和深入两篇教程了,那我写这些文章又是为什么呢,只是抄袭?那倒并不是,更准确的说应该是笔记吧,然后用更通俗的语言来解释,并且补充更多,官方文章中没有...
  • wlmnzf
  • wlmnzf
  • 2016年04月07日 15:21
  • 13777
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Tensorflow 实现 MNIST 手写数字识别
举报原因:
原因补充:

(最多只允许输入30个字)