详解MNIST数据集下载、解析及显示的Python实现

已于 2024-08-25 13:38:02 修改
阅读量9.7w 收藏 786
点赞数 352
分类专栏： 机器学习数据集 文章标签： python 计算机视觉 人工智能
于 2023-05-14 19:39:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KRISNAT/article/details/130670596
版权

Content

重要提示： 🚀🚀 MNIST之前的网页和数据集下载采用的是HTTP协议，后续更新后采用的是HTTPS协议。MNIST官网和四个数据集的网址链接都变成了https开头，再使用原来的网址会出现禁止访问等问题。本篇博客已于 2024-08-24 更新了网址链接。

随着图像处理、计算机视觉、机器学习，甚至深度学习的蓬勃发展，一个良好的数据集作为学习和测试相关算法非常重要。MNIST数据集是深度学习和计算机视觉领域入门级的数据集，类似于编程语言的Hello Word。MNIST数据集对于想要学习和测试相关算法，同时又不想花费大量的时间收集和整理数据集的人们来说，这是一个很好的数据库。MNIST数据集官方地址为：https://yann.lecun.com/exdb/mnist/😆😆😆

https://yann.lecun.com/exdb/mnist/

一、数据集基本介绍

MNIST（modified national institute of standard and technology）数据集是由Yann LeCun及其同事于1994年创建一个大型手写数字数据库（包含0~9十个数字）。MNIST数据集的原始数据来源于美国国家标准和技术研究院（national institute of standard and technology）的两个数据集：special database 1和special database 3。它们分别由NIST的员工和美国高中生手写的0-9的数字组成。原始的这两个数据集由128×128像素的黑白图像组成。LeCun等人将其进行归一化和尺寸调整后得到的是28×28的灰度图像。

MNIST数据集总共包含两个子数据集：一个训练数据集和一个测试数据集。它们分别包含了60K和10K的28×28的灰度图像。MNIST文件包含四个不属于任何标准格式的文件，因此它们需要专门进行编程方可阅读，当然也可以使用PyTorch的torchvision.datasets.MINIST API接口直接读取。

考虑到MNIST数据集只有0-9这10个数字的局限性，类似于MNIST数据集的两个新的数据集被提出，分别是Fasion-MNIST和EMNIST数据集。Fasion-MNIST数据集为服装类型的灰度图像数据集。EMNIST数据集则是包含大写、小写和0-9数字的灰度图像数据集。

MNIST训练集图像、训练集标签、测试集图像和测试及标签如下表：

数据集MNIST中的文件名下载地址文件大小
训练集图像train-images-idx3-ubyte.gzhttps://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz9912422字节
训练集标签train-labels-idx1-ubyte.gzhttps://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz28881字节
测试集图像t10k-images-idx3-ubyte.gzhttps://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz1648877字节
测试集标签t10k-labels-idx1-ubyte.gzhttps://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz4542字节

==注意：==若是通过浏览器下载该文件，浏览器可能会在你不知情的情况下自动解压缩该文件。因此，下载的文件大小与上面的表格大小不一致，可能就是被自动解压了。

二、下载MNIST数据集到本地

【这里给出了多种下载方式，宝子们根据情况选择🔥🔥】

  1. 通过博主分享的百度网盘下载公开数据集MNIST；
  2. 通过代码直接下载；💥💥💥
  3. 通过PyTorch的torchvision.datasets.MNIST接口下载，并将数据集保存为JPEG图片保存到本地。⭐️⭐️⭐️

（一）使用百度网盘下载

博主已将MNIST公开数据集上传至百度网盘，大家可以直接下载学习。这里提供两种类型的文件：

  1. MNIST原始格式的文件；
  2. 保存为JPEG格式的文件，其中文件名包含了其属于train还是test数据集，以及在子数据集中的编号和真值标签。
  • 原始格式的数据集下载
链接：https://pan.baidu.com/s/1jAPlVKLYamJn6I63GD6HDg?pwd=azq2 
提取码：azq2

在这里插入图片描述

  • JPEG格式数据集下载
链接：https://pan.baidu.com/s/1TaL3dCHxAj17LgvSSd_eTA?pwd=xl8n 
提取码：xl8n

在这里插入图片描述

（二）使用Python脚本下载

使用wget.download(url, out=None, bar=bar_adaptive)下载。
首先确保自己的Python环境安装有wget这个第三方库，否则pip install wget安装。使用下面脚本会自动下载MNIST数据集的四个文件到download_minst(save_dir: str = None)所传入的保存路径save_dir中。

"""
下载MNIST数据集脚本
"""

import os
from pathlib import Path
import logging

import wget

logging.basicConfig(level=logging.INFO, format="%(message)s")


def download_minst(save_dir: str = None) -> bool:
    """下载MNIST数据集
    输入参数:
        save_dir: MNIST数据集的保存地址. 类型: 字符串.

    返回值:
        全部下载成功返回True, 否则返回False
    """
    
    save_dir = Path(save_dir)
    train_set_imgs_addr = save_dir / "train-images-idx3-ubyte.gz"
    train_set_labels_addr = save_dir / "train-labels-idx1-ubyte.gz"
    test_set_imgs_addr = save_dir / "t10k-images-idx3-ubyte.gz"
    test_set_labels_addr = save_dir / "t10k-labels-idx1-ubyte.gz"

    try:
        if not os.path.exists(train_set_imgs_addr):
            logging.info("下载train-images-idx3-ubyte.gz")
            filename = wget.download(url="http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz", out=str(train_set_imgs_addr))
            logging.info("\tdone.")
        else:
            logging.info("train-images-idx3-ubyte.gz已经存在.")

        if not os.path.exists(train_set_labels_addr):
            logging.info("下载train-labels-idx1-ubyte.gz.")
            filename = wget.download(url="http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz", out=str(train_set_labels_addr))
            logging.info("\tdone.")
        else:
            logging.info("train-labels-idx1-ubyte.gz已经存在.")

        if not os.path.exists(test_set_imgs_addr):
            logging.info("下载t10k-images-idx3-ubyte.gz.")
            filename = wget.download(url="http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz", out=str(test_set_imgs_addr))
            logging.info("\tdone.")
        else:
            logging.info("t10k-images-idx3-ubyte.gz已经存在.")

        if not os.path.exists(test_set_labels_addr):
            logging.info("下载t10k-labels-idx1-ubyte.gz.")
            filename = wget.download(url="http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz", out=str(test_set_labels_addr))
            logging.info("\tdone.")
        else:
            logging.info("t10k-labels-idx1-ubyte.gz已经存在.")
        
    except:
        return False
    
    return True


if __name__ == "__main__":
	download_minst(save_dir="./")

（三）通过torchvision.datasets.MNIST下载并保存到本地为JPEG图片

这里需要安装PyTorch和Pillow库，下载和保存的Python代码如下：

#!/usr/bin/env python3
# -*- encoding utf-8 -*-

'''
@File: save_mnist_to_jpg.py
@Date: 2024-08-23
@Author: KRISNAT
@Version: 0.0.0
@Email: ****
@Copyright: (C)Copyright 2024, KRISNAT
@Desc: 
    1. 通过 torchvision.datasets.MNIST 下载、解压和读取 MNIST 数据集；
    2. 使用 PIL.Image.save 将 MNIST 数据集中的灰度图片以 JPEG 格式保存。
'''

import sys, os
sys.path.insert(0, os.getcwd())

from torchvision.datasets import MNIST
import PIL
from tqdm import tqdm

if __name__ == "__main__":
    # 图片保存路径
    root = 'mnist_jpg'
    if not os.path.exists(root):
        os.makedirs(root)

    # 从网络上下载或从本地加载MNIST数据集
    # 训练集60K、测试集10K
    # torchvision.datasets.MNIST接口下载的数据一组元组
    # 每个元组的结构是: (PIL.Image.Image image model=L size=28x28, 标签数字 int)
    training_dataset = MNIST(
        root='mnist',
        train=True,
        download=True,
    )
    test_dataset = MNIST(
        root='mnist',
        train=False,
        download=True,
    )

    # 保存训练集图片
    with tqdm(total=len(training_dataset), ncols=150) as pro_bar:
        for idx, (X, y) in enumerate(training_dataset):
            f = root + "/" + "training_" + str(idx) + \
                "_" + str(training_dataset[idx][1] )+ ".jpg"  # 文件路径
            training_dataset[idx][0].save(f)
            pro_bar.update(n=1)

    # 保存测试集图片
    with tqdm(total=len(test_dataset), ncols=150) as pro_bar:
        for idx, (X, y) in enumerate(test_dataset):
            f = root + "/" + "test_" + str(idx) + \
                "_" + str(test_dataset[idx][1] )+ ".jpg"  # 文件路径
            test_dataset[idx][0].save(f)
            pro_bar.update(n=1)

保存后的JPEG如下图所示，图片命名的格式为：子数据集名_在子数据集中的编号_真实值标签。
在这里插入图片描述

三、使用Python解析MNIST数据集文件

不同于我们常见到的数据集图片通过jpg这样的图片格式保存，标签通过txt、xml、json等常规文本文件保存。MNIST的图片和标签均通过二进制文件进行保存，也就是我们无法直接在Windows中查看手写数字的图片和标签，必须要先解码。

MNITS的编码格式如下：

  • 训练集
    在这里插入图片描述

  • 测试集
    在这里插入图片描述
    从上面官方提供的编码格式可以看出，MNIST的图片和标签均采用二进制编码，图片二进制编码文件的前16个字节（Byte）为描述性内容，我们可以不管，因为我们已经知道MNIST训练集60000张图片、测试集10000张图片，所有图片分辨率为28*28，因此可以直接通过Python自带的gzip工具读取MNIST数据集的图片和标签二进制编码文件，再通过numpy.frombuffer()方法解析读取到的二进制信息，解析MNIST二进制文件的Python脚本如下：

"""
通过gzip和numpy解析MNIST数据集的二进制文件
"""

import os
import gzip
import logging

import numpy as np

logging.basicConfig(format="%(message)s", level=logging.DEBUG)  # 设置Python日志管理工具的消息格式和显示级别


def parse_mnist(minst_file_addr: str = None, flatten: bool = False, one_hot: bool = False) -> np.array:
    """解析MNIST二进制文件, 并返回解析结果
    输入参数:
        minst_file: MNIST数据集的文件地址. 类型: 字符串.
        flatten: bool, 默认Fasle. 是否将图片展开, 即(n张, 28, 28)变成(n张, 784)
        one_hot: bool, 默认Fasle. 标签是否采用one hot形式.

    返回值:
        解析后的numpy数组
    """
    if minst_file_addr is not None:
        minst_file_name = os.path.basename(minst_file_addr)  # 根据地址获取MNIST文件名字
        with gzip.open(filename=minst_file_addr, mode="rb") as minst_file:
            mnist_file_content = minst_file.read()
        if "label" in minst_file_name:  # 传入的为标签二进制编码文件地址
            data = np.frombuffer(buffer=mnist_file_content, dtype=np.uint8, offset=8)  # MNIST标签文件的前8个字节为描述性内容，直接从第九个字节开始读取标签，并解析
            if one_hot:
                data_zeros = np.zeros(shape=(data.size, 10))
                for idx, label in enumerate(data):
                    data_zeros[idx, label] = 1
                data = data_zeros
        else:  # 传入的为图片二进制编码文件地址
            data = np.frombuffer(buffer=mnist_file_content, dtype=np.uint8, offset=16)  # MNIST图片文件的前16个字节为描述性内容，直接从第九个字节开始读取标签，并解析
            data = data.reshape(-1, 784) if flatten else data.reshape(-1, 28, 28)
    else:
        logging.warning(msg="请传入MNIST文件地址!")

    return data

if __name__ == "__main__":
    data = parse_mnist(minst_file_addr="./t10k-labels-idx1-ubyte.gz")  # t10k-images-idx1-ubyte.gz文件应该和本脚本在同一个目录下，否则应该修改地址
    print(len(data))  # 10000
    print(data[0:10])  # [7 2 1 0 4 1 4 9 5 9]

四、显示MNIST数据集中训练集的前9张图片和标签

通过上一步解析后的MNIST数据已经是numpy.narray数据类型，可以直接通过pillow、opencv和matplotlib库直接可视化了。此处博主通过matplotlib库可视化MNIST训练集的前9张图片及其标签，代码和效果如下：

"""
通过gzip和numpy解析MNIST数据集的二进制文件, 并可视化训练集前10张图片和标签
"""

import os
import gzip
import logging

import numpy as np
import matplotlib.pyplot as plt

logging.basicConfig(format="%(message)s", level=logging.DEBUG)  # 设置Python日志管理工具的消息格式和显示级别

plt.rcParams["font.sans-serif"] = "SimHei"  # 确保plt绘图正常显示中文
plt.rcParams["figure.figsize"] = [9, 10]  # 设置plt绘图尺寸

def parse_mnist(minst_file_addr: str = None) -> np.array:
    """解析MNIST二进制文件, 并返回解析结果
    输入参数:
        minst_file: MNIST数据集的文件地址. 类型: 字符串.

    返回值:
        解析后的numpy数组
    """
    if minst_file_addr is not None:
        minst_file_name = os.path.basename(minst_file_addr)  # 根据地址获取MNIST文件名字
        with gzip.open(filename=minst_file_addr, mode="rb") as minst_file:
            mnist_file_content = minst_file.read()
        if "label" in minst_file_name:  # 传入的为标签二进制编码文件地址
            data = np.frombuffer(buffer=mnist_file_content, dtype=np.uint8, offset=8)  # MNIST标签文件的前8个字节为描述性内容，直接从第九个字节开始读取标签，并解析
        else:  # 传入的为图片二进制编码文件地址
            data = np.frombuffer(buffer=mnist_file_content, dtype=np.uint8, offset=16)  # MNIST图片文件的前16个字节为描述性内容，直接从第九个字节开始读取标签，并解析
            data = data.reshape(-1, 28, 28)
    else:
        logging.warning(msg="请传入MNIST文件地址!")

    return data


if __name__ == "__main__":
    train_imgs = parse_mnist(minst_file_addr="train-images-idx3-ubyte.gz")  # 训练集图像
    train_labels = parse_mnist(minst_file_addr="train-labels-idx1-ubyte.gz")  # 训练集标签
    
    # 可视化
    fig, ax = plt.subplots(ncols=3, nrows=3)
    ax[0, 0].imshow(train_imgs[0], cmap=plt.cm.gray)
    ax[0, 0].set_title(f"标签为{train_labels[0]}")
    ax[0, 1].imshow(train_imgs[1], cmap=plt.cm.gray)
    ax[0, 1].set_title(f"标签为{train_labels[1]}")
    ax[0, 2].imshow(train_imgs[2], cmap=plt.cm.gray)
    ax[0, 2].set_title(f"标签为{train_labels[2]}")
    ax[1, 0].imshow(train_imgs[3], cmap=plt.cm.gray)
    ax[1, 0].set_title(f"标签为{train_labels[3]}")
    ax[1, 1].imshow(train_imgs[4], cmap=plt.cm.gray)
    ax[1, 1].set_title(f"标签为{train_labels[4]}")
    ax[1, 2].imshow(train_imgs[5], cmap=plt.cm.gray)
    ax[1, 2].set_title(f"标签为{train_labels[5]}")
    ax[2, 0].imshow(train_imgs[6], cmap=plt.cm.gray)
    ax[2, 0].set_title(f"标签为{train_labels[6]}")
    ax[2, 1].imshow(train_imgs[7], cmap=plt.cm.gray)
    ax[2, 1].set_title(f"标签为{train_labels[7]}")
    ax[2, 2].imshow(train_imgs[8], cmap=plt.cm.gray)
    ax[2, 2].set_title(f"标签为{train_labels[8]}")
    plt.show()  # 显示绘图

    print(plt.rcParams.keys())

在这里插入图片描述

创作不易，若觉得此篇博文有用的观众老爷，不妨点赞👍➕收藏🌟💯🚀

MNIST数据集相关介绍
01-06
1. MNIST数据集加载与查看 1.1 内置数据集介绍 dir(tf.keras.datasets) 1.2 MNIST数据集加载 mnist = tf.keras.datasets.mnist mnist.load_data() 1.3 数据集查看 x_train.shape, y_train.shape import tensorflow as tf #MNIST数据集查看 mnist=tf.keras.datasets.mnist (x_train, y_train),(x_test, y_test) = mnist.load_data() print(x_train.shap
python，MNIST手写数字数据集
01-21
python可以调用的MNIST数据集，将mnist_data.zip 文件解压，会得到四个压缩文件，不要解压！！！
MNIST数据集：手写数字识别与机器学习实践
最新发布
weixin_30248619的博客
03-11 1110
本文还有配套的精品资源，点击获取 简介：MNIST数据集是机器学习和计算机视觉领域的经典基准，由Yann LeCun等人于1998年创建，用于评估算法在手写数字识别任务中的性能。它包含两个主要部分：训练集和测试集，每个部分都有70,000个28x28像素的灰度图像。使用MNIST数据集进行机器学习项目的典型步骤包括数据预处理、数据分割、特征提取、模型构建、训练、超参数调优、...
MNIST数据集实现
10-25
MNIST数据集训练并测试代码，并赋有不同的调参代码测试
Mnist数据集
10-01
该mnist数据集用于训练手写数字识别，数据集中有 60000个训练样本，10000个测试样本。注意图片和label是分开的，而且需要用代码进行解析（diamante很简单，搜索下即可）
mnist数据集下载
10-17
原网址下载不了了，这里上传资源给大家分享下，mnist数据集下载。
MNIST数据集的简单介绍
weixin_52447486的博客
11-21 1580
MNIST 数据集是一个非常经典的手写数字识别数据集，其中包含了图像和对应的标签对。这里我们从 MNIST 的存储格式到加载后的处理进行详细讲解。希望这个详细介绍能帮助你更好地理解 MNIST 数据集的结构和数据绑定的实现！如果有其他问题，欢迎继续讨论。MNIST 数据集以二进制文件的形式存储，包含以下四个文件（压缩后为。，是一种简单的二进制格式，设计用于存储多维数组。自动处理了这些二进制文件，简化了数据加载流程。用于批量加载数据并打乱顺序，适合用于训练过程。
经典数据集MNIST（手写数字数据集）详解与可视化
weixin_57506268的博客
12-18 6076
本篇博客详细介绍了机器学习入门的经典数据集MNIST数据集，并进行了代码讲解与可视化展示。
从手写数字识别入门深度学习丨MNIST数据集详解
热门推荐
OpenDataLab的博客
07-13 4万+
就像无数人从敲下“Hello World”开始代码之旅一样，许多研究员从“MNIST数据集”开启了人工智能的探索之路。
使用python处理MNIST数据集
qq_30150579的博客
09-24 4345
使用python处理MNIST数据集
[ 数据集 ] MINIST 数据集介绍
A_John 的博客
05-02 2万+
[ 数据集 ] MINIST 数据集介绍 MINIST ``Size:`` 28×28 灰度手写数字图像； ``Num:`` 训练集 60000 和 测试集 10000，一共70000张图片； ``Classes:`` 0，1，2，3，4，5，6，7，8，9； 具体介绍了数据集的读取与可视化操作等 ...
mnist数据集（最全）
11-23
资源包含csv格式的mnist、mnist.pkl.gz和官网的四个gz格式数据集三个，很全了
mnist数据集下载及如何使用生成训练集文件.7z
08-20
我在里面加了下载之后如何通过代码解压使用数据集，请各位下载之后记得根据自己的学习文件夹地址微调代码。 祝各位学习顺利
mnist数据集
11-30
简单的训练MNIST数据集 （0-9的数字图片）数据集被分成两部分：60000 行的训练数据集（mnist.train）和10000行的测试数据集（mnist.test）。 其中：60000 行的训练集分拆为 55000 行的训练集和 5000 行的验证集。 60000行的训练数据集是一个形状为 [60000, 784] 的张量，第一个维度数字用来索引图片，第二个维度数字用来索引每张图片中的像素点。在此张量里的每一个元素，都表示某张图片里的某个像素的强度值，值介于 0 和 1 之间。 深度学习数据集MNIST
MNIST数据集（基于python下的Tensorflow框架）
10-10
解压即可使用，运行代码可在本人博客中找到。大多数示例使用手写数字的MNIST数据集[1]。该数据集包含60,000个用于训练的示例和10,000个用于测试的示例。这些数字已经过尺寸标准化并位于图像中心，图像是固定大小(28x28像素)，其值为0到1。为简单起见，每个图像都被平展并转换为784(28 * 28)个特征的一维numpy数组。
Python利用逻辑回归模型解决MNIST手写数字识别问题详解
01-20
可以通过TensorFLow下载MNIST手写数据集，通过import引入MNIST数据集并进行读取，会自动从网上下载所需文件。 %matplotlib inline import tensorflow as tf import tensorflow.examples.tutorials.mnist.input_data...
下载MNIST数据集并使用python将数据转换成NumPy数组(源码解析)
及时总结
01-02 3796
下载MNIST数据集并使用python将数据转换成NumPy数组首先来分析init_mnist函数接下来继续分析load_mnist函数实现数据集转换的python脚本的代码显示MNIST图像并确认数据 下载MNIST数据集并将数据转换成NumPy数组的Python脚本里面最重要的就是load_mnist函数，其他项目想要调用数据集的话，就可以调用load_mnist函数，得到一个字典类型的数据，字典的值是一个Numpy数组。 这些过程是如何实现的，现在开始逐字逐句分析源码： 在load_mnist函数中第
python读取二进制mnist实例详解
09-21
在这个实例中，我们将深入理解如何使用Python来读取MNIST数据集的二进制文件。 首先，MNIST数据集由两部分组成：训练数据（train-images.idx3-ubyte）和测试数据（t10k-images.idx3-ubyte），以及对应的标签文件。...
调用数据集mnist（下载+调用全攻略）
shouhouxiaomuwu的专栏
11-05 3238
链接：https://pan.baidu.com/s/1ia3vFA73hEtWK9qU-O-4iQ?通过百度网盘分享的文件：mnist。
MINIST数据集下载
12-26
MINIST数据集是一个广泛使用的手写数字识别数据集，由Yann LeCun等人在1998年创建。它包含了60,000张28x28像素的灰度图像，分为训练集（60,000张）和测试集（10,000张），每一张图片对应一个0-9的手写数字标签。这个数据集对于机器学习和深度学习入门者来说是个很好的实践案例，因为它简单易用，并且可以用来演示监督学习的基本概念。 要下载MINIST数据集，你可以通过Python的机器学习库`scikit-learn`或`TensorFlow`等间接获取，因为它们通常会提供预处理好的版本。以下是使用`scikit-learn`下载并加载的示例： ```python from sklearn.datasets import fetch_openml mnist = fetch_openml('mnist_784', version=1) X_train, y_train = mnist['data'], mnist['target'] ``` 如果你需要更底层的访问，可以直接从原始网站下载，如Lecun's Homepage (http://yann.lecun.com/exdb/mnist/) 或者一些在线资源库（如Kaggle、UCI Machine Learning Repository）。下载后通常需要对数据进行预处理，将其归一化到0-1范围，并转换成适当的格式供模型训练。
评论 44
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值