Numpy学习（4）：自己动手制作类似于cifar10这样的图像数据集

本文链接：https://blog.csdn.net/qq_32166627/article/details/68946809

前言

大名鼎鼎的cifar10数据集想必大家已经都已经见识过了，如果对cifar10比较陌生，其详解可以参见本人博客：点击查看博客。其在机器学习和深度学习领域地位很重，一般写一个新网络，都要在这个数据集上跑一跑。我们学习了一段时间的深度学习后，已经不满足于现成的数据集了，想弄个自己的数据集跑一跑。本文就详细介绍几个python工具，仿照cifar10制作自己的数据集。

正文

具体流程如下：

一，首先写个图片爬虫程序，爬取一类图片（随便一类，比如王尼玛的大头）到本地文件夹。爬虫程序参考本人博客：

二，使用python的PIL库处理图片

循环读取文件夹下的图片
裁剪每张图片，裁剪策略:
<1>如果图片高度大于宽度，裁剪成宽度*宽度。如果图片宽度大于高度，裁剪成高度*高度。这样得到了正方形的图像。这也就要求原始图片中的物体要尽量居中。
<2>将正方形图像等比例缩放成32*32像素的图片。
<3>分别获取图像的R，G，B三个通道的像素值。分别将这三个32*32的矩阵reshape成一个1*1024的矩阵，然后合并成一个1*3072的矩阵。
每张图片对应一个1*3072的矩阵，循环读入n张图片，就形成了n*3072的矩阵。

三，使用python的pickle库保存字典

pickle库是将python数据结构（列表，元组，字典等）序列化为二进制文件的库，在python2.7版本中叫cPickle，到了python3.x改名为pickle了，用法很相似。pickle.dump()方法将数据结构保存到二进制文件，pickle.load()方法从二进制文件中读取数据结构。

四，dump代码

from PIL import Image
import numpy as np
import pickle, glob, os

arr = [[]]

for infile in glob.glob("./RowImg/*.jpg"):
    file, ext = os.path.splitext(infile)
    Img = Image.open(infile)
    width = Img.size[0]
    height = Img.size[1]
    print(width,height)
    if width>height:
        tmp = int((width-height)/2)
        Img = Img.crop([width-height-tmp,0,width-tmp,height])
    if height>width:
        tmp = int((height-width)/2)
        Img = Img.crop([0,height-width-tmp,width,height-tmp])
    size = 32,32
    Img.thumbnail(size, Image.ANTIALIAS)


    r,g,b = Img.split()
    r_array = np.array(r).reshape([1024])
    g_array = np.array(g).reshape([1024])
    b_array = np.array(b).reshape([1024])
    merge_array = np.concatenate((r_array,g_array,b_array))
    if arr == [[]]:
        arr = [merge_array]
        continue
    arr = np.concatenate((arr, [merge_array]),axis=0)

dic = {'data': arr}
f = open('./img2array.bin','wb')
pickle.dump(dic,f)

五，load代码

import pickle
f = open('./img2array.bin','rb')
dic = pickle.load(f)
arr = dic['data']

print(arr.shape)

总结

生成的“img2array.bin”文件就是我们想要的图像数据文件。当然了，这只是一类图像数据，重复这个过程就可以生成很多类的图像数据了。