手动读取MNIST数据集

文件格式

数据集解压后一共四个文件，官网给每个文件的格式做了详细的说明

使用open函数读取文件

以训练集图片和标签读取为例，测试集读取方法一样

1 训练集图片读取

import matplotlib.pyplot as plt

# 以二进制方式打开文件train-images-idx3-ubyte
image_file = open("./myData/mnist/MNIST/raw/train-images-idx3-ubyte","rb")
# 通过官网可知，前4行为说明信息，不是图片信息，每行4个字节，也即是前4*4个字节先读取出来
description = image_file.read(16)
# 读取完16个字节后开始读取图片，由官网可知，图片大小为28*28=784个像素组成
# 文件格式说明中每一个字节代表一个像素，所以只需读取784个字节即可代表一张图片
image_bytes = image_file.read(784)
# 可以通过matplotlib将灰度图绘制出来，在绘制之前，还需把字节串转变为二维的整数列表
# 将字节串转为以为整数列表
image = []
count = 0 
for row in range(28):
    line = []
    for column in range(28):
        line.append(float(image_bytes[count]))
        count += 1
    image.append(line)
# 绘制灰度图
plt.imshow(image,'gray')

2 训练集标签读取

# 以二进制方式打开文件train-labels-idx1-ubyte
labe_file = open("./myData/mnist/MNIST/raw/train-labels-idx1-ubyte","rb")
# 通过官网可知，前2行为说明信息，不是图片信息，每行4个字节，也即是前4*2个字节先读取出来
description = labe_file.read(8)
# 读取完8个字节后开始读取图片，由官网可知，标签大小为1个字节，取值在0-9
# 文件格式说明中每一个字节代表一个标签，所以只需读取1个字节即可代表一个标签
# 假设读取128个标签
labe_bytes = labe_file.read(128)
# 转为整数列表
labe_list = [i for i in labe_bytes]
print(labe_list)

[5, 0, 4, 1, 9, 2, 1, 3, 1, 4, 3, 5, 3, 6, 1, 7, 2, 8, 6, 9, 4, 0, 9, 1, 1, 2, 4, 3, 2, 7, 3, 8, 6, 9, 0, 5, 6, 0, 7, 6, 1, 8, 7, 9, 3, 9, 8, 5, 9, 3, 3, 0, 7, 4, 9, 8, 0, 9, 4, 1, 4, 4, 6, 0, 4, 5, 6, 1, 0, 0, 1, 7, 1, 6, 3, 0, 2, 1, 1, 7, 9, 0, 2, 6, 7, 8, 3, 9, 0, 4, 6, 7, 4, 6, 8, 0, 7, 8, 3, 1, 5, 7, 1, 7, 1, 1, 6, 3, 0, 2, 9, 3, 1, 1, 0, 4, 9, 2, 0, 0, 2, 0, 2, 7, 1, 8, 6, 4]