图像集存储成MNIST数据集格式实现

有时会用到将一组图像存放成MNIST中那样的数据格式，以便于用于网络的训练和测试，如MNSIT中的测试集标签t10k-labels.idx1-ubyte和测试集图像t10k-images.idx3-ubyte，各包含了10000个样本，这里以此两个测试集为例详细说明下实现过程：

在http://yann.lecun.com/exdb/mnist/  中对MNIST的数据存放格式进行了介绍，存储的数据都以大多数非英特尔处理器使用的MSB优先(高端)格式存储,英特尔处理器和其他低端机器的用户必须翻转标头的字节(All the integers in the files are stored in the MSB first(high endian) format used by most non-Intel processors. Users of Intel processors and other low-endian machines must flip the bytes of the header.)。

t10k-labels.idx1-ubyte(训练集标签train-labels.idx1-ubyte与此存放格式完全相同)：第1至第4个字节存放magic number(MSB first)；第5至第8个字节存放标签数即10000;从第9个字节开始,每个字节存放一个标签值(label value)，标签值的范围为0到9。

此处的magic number(MSB first)是一个四个字节的整数，是一个IDX文件格式；第1，第2个字节总是0；第3个字节值表示数据的类型，如0x08表示unsigned byte；0x09表示signed byte；0x0B表示short(2 bytes)；0x0C表示int(4 bytes)；0x0D表示float(4 bytes)；0x0E表示double(8 bytes);因为t10k-labels.idx1-ubyte中标签值范围为0到9，因此这里第3字节值为0x08；第4个字节表示向量/矩阵的维数，1表示向量，2表示矩阵等；这里的标签为一维向量，因此第4字节为0x01。t10k-labels.idx1-ubyte中的前8个字节是两个magic number。

打开t10k-labels.idx1-ubyte二进制文件，前8个字节数据是：00 00 08 01 00 00 27 10，这里需要注意的是，magic number是一个四字节int，在读或写时每次性读取4个字节，高字节在后，低字节在前，与存储时顺序不同，高字节在前，低字节在后，因此在读或写magic number时，需要做个转换，即高字节变低字节，低字节变高字节，实现见ReverseInt函数。

t10k-images.idx3-ubyte(训练集图像train-images.idx3-ubyte与此存放格式完全相同)：第1至第4个字节存放magic number(MSB first)；第5至第8个字节存放图像数即10000；第9至第12个字节存放每个图像的行数即高，这里为28；第13至第16个字节存放每个图像的列数即宽，这里为28；从第17个字节开始，每个字节存放一个像素值，像素值的范围为0到255，0表示背景，255表示前景，像素按行排列；每28*28个字节大小存放一幅图像数据。

此处的magic number(MSB first)是一个四个字节的整数，是一个IDX文件格式；第1，第2个字节总是0；第3个字节值表示数据的类型，如0x08表示unsigned byte；0x09表示signed byte；0x0B表示short(2 bytes)；0x0C表示int(4 bytes)；0x0D表示float(4 bytes)；0x0E表示double(8 bytes);因为t10k-images.idx3-ubyte中图像像素值范围为0到255，因此这里第3字节值为0x08；第4个字节表示向量/矩阵的维数，1表示向量，2表示矩阵等；这里的图像可看做三维即channels*height*width，因此第4字节为0x03。t10k-images.idx3-ubyte中的前16个字节是四个magic number。打开0x03.t10k-images.idx3-ubyte二进制文件，前16个字节数据是：00 00 08 03 00 00 27 10 00 00 00 1c 00 00 00 1c。
 测试代码如下：