TensorFlow学习笔记（二）：快速理解Tutorial第一个例子-MNIST机器学习入门

    TensorFlow教程的第一章“MNIST机器学习入门”很简单，用了一个很简单的网络，实现了MNIST样本训练。

    教程链接：http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html

    下面这些内容主要是解释这个教程中不是特别明确的地方。

1. 怎样理解MNIST

MNIST的全称是Mixed National Institute of Standards and Technology database，是一系列带标记的数字图片。原始的NIST数据集的训练集是美国人口普查局的雇员的笔迹，而验证集是采集自美国中学生的笔迹。所以从机器学习的角度看，这是一种不太合理的样本采集。因此Lecun在进行卷积神经网络的研究时候从原始的NIST两个数据集中选择并重新混合形成新的训练集和验证集，也就是现在的MNIST。MNIST的图片一般都是28*28的图片，每个像素值进行了归一化，使得其在0-1范围内，不过也有部分数据集把它们又恢复到0-255，每个数字图片都有对应的标记。MNIST的训练集一共有60000个样本，而验证集有10000个样本。

2.怎样理解权值和Softmax

“MNIST机器学习入门”里面，没有用卷积神经网络，而是用了一个全连接神经网络+Softmax输出层。

MNIST的一幅图片是28*28，因此一共有784个像素值，在第一个例子里面，我们就直接就考虑用这784个数字得出正确的数字结果。最简单的考虑，我们要对这个784个数字进行加权求和，然后加点偏置，然后衡量一下得出的结果，看到底和哪个数字最像。那么这个加权加偏移的结构就是全连接神经网，而这个衡量结果的过程就是Softmax。