基于tensorflow+DNN的MNIST数据集手写数字分类

2018年9月17日笔记

tensorflow是谷歌google的深度学习框架，tensor中文叫做张量，flow叫做流。
DNN是deep neural network的简称，中文叫做深层神经网络，有时也叫做多层感知机（Multi-Layer perceptron,MLP）。
从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层。
如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。

image.png

MNIST是Mixed National Institue of Standards and Technology database的简称，中文叫做 美国国家标准与技术研究所数据库。
此文在上一篇文章《基于tensorflow的MNIST数据集手写数字分类预测》的基础上添加了1个隐藏层，模型准确率从91%提升到98%
《基于tensorflow的MNIST数据集手写数字分类预测》文章链接： https://www.jianshu.com/p/135c21e3db73

0.编程环境

安装tensorflow命令：pip install tensorflow
操作系统：Win10
python版本：3.6
集成开发环境：jupyter notebook
tensorflow版本：1.6

1.致谢声明

1.本文是作者学习《周莫烦tensorflow视频教程》的成果，感激前辈；
视频链接：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/
2.参考云水木石的文章，链接：https://mp.weixin.qq.com/s/H9I0KX0CBkHeap5Xpwp-5Q

2.下载并解压数据集

MNIST数据集下载链接: https://pan.baidu.com/s/1fPbgMqsEvk2WyM9hy5Em6w 密码: wa9p
下载压缩文件MNIST_data.rar完成后，选择解压到当前文件夹，不要选择解压到MNIST_data。
文件夹结构如下图所示：

image.png

3.完整代码

此章给读者能够直接运行的完整代码，使读者有编程结果的感性认识。
如果下面一段代码运行成功，则说明安装tensorflow环境成功。
想要了解代码的具体实现细节，请阅读后面的章节。
在迭代训练5000次后，模型的准确率可以到达98%左右，下面代码为了节省读者运行时间，只迭代训练1000次。

import warnings
warnings.filterwarnings('ignore')
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
batch_size = 100
X_holder = tf.placeholder(tf.float32)
y_holder = tf.placeholder(tf.float32)

def addConnect(inputs, in_size, out_size, activation_function=None):
    Weights = tf.Variable(tf.truncated_normal([in_size, out_size], stddev=0.01))
    biases = tf.Variable(tf.zeros([1, out_size]))
    Wx_plus_b = tf.matmul(inputs, W