matlab解析mnist,matlab 解析 mnist 数据集

mnist database(手写字符识别) 的数据集下载地：http://yann.lecun.com/exdb/mnist/。

共有四个文件需要下载：

train-images-idx3-ubyte.gz，训练集，共 60,000 幅(28*28)的图像数据；

train-labels-idx1-ubyte.gz，训练集的标签信息(取值为 0-9)，60,000*1

t10k-images-idx3-ubyte.gz，测试集(t: test, 10k: 10,000)，共 10,000 副(28*28)的图像数据

t10k-labels-idx1-ubyte.gz，测试集的标签呢信息(取值为 0-9)，10,000*1

文件名中的 ubyte 表示数据类型，无符号的单字节类型，对应于 matlab 中的 uchar 数据类型。

注：在 Windows 平台下解压这些文件时，操作系统会自动修改这些文件的文件名，比如会将倒数第二个短线-修改为.，也即 train-images-idx3-ubyte.gz 解压为train-images.idx3-ubyte(文件类型就自作主张地变成了idx3-ubyte)，注意文件的对应。

f = fopen('./dataset/t10k-images-idx3-ubyte', 'r')

assert(f >= 3, '文件打开失败'); % 一般文件的文件标识符必须大于等于3

g = fopen('./dataset/t10k-labels-idx1-ubyte', 'r');

assert(g >= 3, '文件打开失败');

我们再来看 mnist 数据集官网给出的关于这四个文件格式的说明：

也即在真正的 label 数据或图像像素信息开始之前会有一些表头信息，对于 label 文件是 2 个 32位整型，对于 image 文件是 4 个 32位整型，所以我们需要对这两个文件分别移动文件指针，以指向正确的位置。

fread(f, 4, 'int32');

fread(g, 2, 'int32');

按 label 分不同的文件，就原始数据组织成 .ascii 文件

% 首先创建这些 .ascii 文件

fids = zeros(1, 10);

for i = 0:9,

fids(i+1) = fopen(['test' num2str(i) '.ascii'], 'w');

end

因为文件内容比较大，出于内存的考虑，最好不要一次全部读入内存，而是逐块逐块地读取，比如一次读 1000 个图像信息，

n = 1000;

times = 60; % 60*1000 = 60,000

for i = 1:times,

rawimages = fread(f, [28*28, n], 'uchar');

rawlabels = fread(g, n, 'uchar');

for j = 1:n,

fprintf(fids(rawlabels(j)+1), '%3d ', rawimages(:, j));

fprintf(fids(rawlabels(j)+1), '\n');

end

end

最后再将 .ascii 格式文件保存为 .mat 文件，

for c = 0:9,

D = load(['test' num2str(c) '.ascii'], '-ascii');

fprintf('%5d digits of class %1d', size(D, 1), c);

save(['train' num2str(c) '.mat'], 'D', '-mat');

fclose(fids(c+1));

end

别忘了删除无用的 .ascii 格式文件：

dos('del *.ascii'); % Windows 平台下dos 命令

% Linux 平台下：dos('rm *.ascii');