minist数据获取

两种方案:

1.官方获取压缩包,解压后格式转换

2.评论区私信我免费发给你(原本想直接百度网盘分享链接的,奈何点分享页面没有反应)

下面详细讲述第一种方案:

 minist数据官方地址:MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges

(正常情况下是可以访问的,已经尝试过)

 下载红框中的四个压缩文件,分别对应训练集、测试集、相应的标签,下载至同一个文件夹后解压,如红框所示,解压工具应该都可以,解压完可能显示的情况不一样。

 在文件夹中新建python文件,复制如下代码,修改dataset-path路径即可

import numpy as np
import struct
 
from PIL import Image
import os

dataset_path = 'C:/Users/ASUS/OneDrive/桌面/动态介质hjf/minist数据集/' # 数据集所在文件夹
data_file = dataset_path + 'train-images.idx3-ubyte' 


data_file_size = 47040016  #测试集改为7840016
data_file_size = str(data_file_size - 16) + 'B'
 
data_buf = open(data_file, 'rb').read()
 
magic, numImages, numRows, numColumns = struct.unpack_from('>IIII', data_buf, 0)
datas = struct.unpack_from('>' + data_file_size, data_buf, struct.calcsize('>IIII'))
datas = np.array(datas).astype(np.uint8).reshape(numImages, 1, numRows, numColumns)
 
label_file = dataset_path + 'train-labels.idx1-ubyte' 

   
label_file_size = 60008  #测试集改为10008
label_file_size = str(label_file_size - 8) + 'B'
 
label_buf = open(label_file, 'rb').read()
 
magic, numLabels = struct.unpack_from('>II', label_buf, 0)
labels = struct.unpack_from('>' + label_file_size, label_buf, struct.calcsize('>II'))
labels = np.array(labels).astype(np.int64)
 
train_path = dataset_path + 'mnist_train' 
if not os.path.exists(train_path):
    os.mkdir(train_path)
	
for i in range(10): 
    file_name = train_path + os.sep + str(i)
    if not os.path.exists(file_name):
        os.mkdir(file_name)
 
for ii in range(numLabels):
    img = Image.fromarray(datas[ii, 0, 0:28, 0:28])
    label = labels[ii]
    file_name = train_path + os.sep + str(label) + os.sep + str(ii) + '.png'
    img.save(file_name)

路径中注意反斜杠/、\区别;不能有空格;(下面是我遇到的问题)箭头处空格!

 运行后即可获得minist数据集

 

测试集同理,代码中训练集解压后的文件名改成测试集的即可。

到此所有图片转换完成,训练集共计6w张,测试集1w张,如果对png图像命名格式有需求的可以自己批量修改一下格式。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值