机器学习-mnist的第一次亲密接触

本文代码在python3.6 win7 32bit环境下测试通过。

1.什么是mnist

就好像每种程序语言都有一个helloworld的例子，mnist则是机器学习领域的helloworld，该数据集中的图片表示0~9的手写阿拉伯数字。mnist包含一个训练集（一个训练图片文件和一个训练标签文件）和一个测试集（一个测试图片文件，一个测试标签文件），其中训练集有60000个样本，测试集有10000个样本。

2.mnist数据集

mnist数据集包含4个文件，分别对应60000个训练图片，60000个训练标签，10000个测试图片，10000个测试标签。

样本数据下载传送门：http://yann.lecun.com/exdb/mnist/

train-images-idx3-ubyte.gz:  60000个训练图片 (9912422 bytes) 
train-labels-idx1-ubyte.gz:  60000个训练标签 (28881 bytes) 
t10k-images-idx3-ubyte.gz:  10000个测试图片 (1648877 bytes) 
t10k-labels-idx1-ubyte.gz:  10000个测试标签 (4542 bytes)

从官方网站下载的数据是gz格式的压缩包，解压后可以得到原始文件。

2.2 mnist数据格式

每个mnist文件的格式如下所示：

magic number           4字节，大尾端，
size in dimension 0   4字节，大尾端
size in dimension 1    4字节，大尾端
size in dimension 2    4字节，大尾端 
..... 
size in dimension N    4字节，大尾端

data                             1字节

dimension N的值由magic number的最后一个字节决定，等于LSB(magic number)-1，在image数据中LSB(magic number)=3，label数据中LSB(magic number)=1

<