MINST数据集转换为png图片
最近在学习machine learning,希望可以出一些自己的内容,首先是相当于hello world的minst数据集处理。
MINST数据集如下:http://yann.lecun.com/exdb/mnist/
它的格式不是通用格式,需要自行调整,如下
#下面是需要导入的库
import numpy as np
import struct
from PIL import Image
def decode_idx3_ubyte(idx3_ubyte_file,saveFlag,status):
#此函数用来解析idx3文件,idx3_ubyte_filec指定图像文件路径
#读取二进制数据
bin_data=open(idx3_ubyte_file,'rb').read()
#解析文件头信息,依次为魔数、图片数量、每张图片高、每张图片宽
offest=0
fmt_header='>iiii'
magic_number,num_images,num_rows,num_cols=struct.unpack_from(fmt_header,bin_data,offest)
print('魔数:%d,图片数量:%d,图片大小:%d%d' % (magic_number,num_images,num_rows,num_cols))
#解析数据集
image_size=num_rows*num_cols
offest += struct.calcsize(fmt_header)
fmt_image='>'+str(image_size)+'B'
images=np.empty((num_images,num_rows,num_cols))
for i in range(num_images):
if (i+1)%10000==0:
print('已解析%d'%(i+1)+'张')
images[i]=np.array(struct.unpack_from(fmt_image,bin_data,offest)).reshape((num_rows,num_cols))
#保存图像
if saveFlag == True:
im = Image.fromarray(np.uint8(images[i]))
im.save('E:/Qinyp/My python/practice/'+ status + str(i) + '.png')
offest += struct.calcsize(fmt_image)
return images
'''images是一个三维数组,images[i][a][b]表示第i张图片的倒数第a行,b列的像素'''
def decode_idx1_ubyte(idx1_ubyte_file):
#解析idx1文件函数,idx1_ubyte_file指定标签文件路径
#读取二进制数据
bin_data=open(idx1_ubyte_file,'rb').read()
#解析文件头信息,依次为魔数和标签数
offest=0
fmt_header='>ii'
magic_number,num_images=struct.unpack_from(fmt_header,bin_data,offest)
print('魔数:%d,图片数量:%d张' %(magic_number,num_images))
#解析数据集
offest+=struct.calcsize(fmt_header)
fmt_image='>B'
labels=np.empty(num_images)
for i in range(num_images):
if (i+1)%10000==0:
print('已解析:%d'%(i+1)+'张')
labels[i]=struct.unpack_from(fmt_image,bin_data,offest)[0]
offest+=struct.calcsize(fmt_image)
print(labels[0])
return labels
'''labels是一个一维数组,每个元素都一一对应images[i]'''
#调用函数,显示结果
decode_idx3_ubyte('E:/Qinyp/My python/practice/train-images.idx3-ubyte',1,'pic')
decode_idx1_ubyte('E:/Qinyp/My python/practice/train-labels.idx1-ubyte')
运行结果如下:
魔数:2051,图片数量:60000,图片大小:2828
已解析10000张
已解析20000张
已解析30000张
已解析40000张
已解析50000张
已解析60000张
魔数:2049,图片数量:60000张
生成的部分图片如下:
参考文章