前言
大名鼎鼎的cifar10数据集想必大家已经都已经见识过了,如果对cifar10比较陌生,其详解可以参见本人博客:点击查看博客。其在机器学习和深度学习领域地位很重,一般写一个新网络,都要在这个数据集上跑一跑。我们学习了一段时间的深度学习后,已经不满足于现成的数据集了,想弄个自己的数据集跑一跑。本文就详细介绍几个python工具,仿照cifar10制作自己的数据集。
正文
具体流程如下:
一,首先写个图片爬虫程序,爬取一类图片(随便一类,比如王尼玛的大头)到本地文件夹。爬虫程序参考本人博客:
二,使用python的PIL库处理图片
循环读取文件夹下的图片
裁剪每张图片,裁剪策略:
<1>如果图片高度大于宽度,裁剪成宽度*宽度。如果图片宽度大于高度,裁剪成高度*高度。这样得到了正方形的图像。这也就要求原始图片中的物体要尽量居中。
<2>将正方形图像等比例缩放成32*32像素的图片。
<3>分别获取图像的R,G,B三个通道的像素值。分别将这三个32*32的矩阵reshape成一个1*1024的矩阵,然后合并成一个1*3072的矩阵。每张图片对应一个1*3072的矩阵,循环读入n张图片,就形成了n*3072的矩阵。
三,使用python的pickle库保存字典
pickle库是将python数据结构(列表,元组,字典等)序列化为二进制文件的库,在python2.7版本中叫cPickle,到了python3.x改名为pickle了,用法很相似。pickle.dump()方法将数据结构保存到二进制文件,pickle.load()方法从二进制文件中读取数据结构。
四,dump代码
from PIL import Image
import numpy as np
import pickle, glob, os
arr = [[]]
for infile in glob.glob("./RowImg/*.jpg"):
file, ext = os.path.splitext(infile)
Img = Image.open(infile)
width = Img.size[0]
height = Img.size[1]
print(width,height)
if width>height:
tmp = int((width-height)/2)
Img = Img.crop([width-height-tmp,0,width-tmp,height])
if height>width:
tmp = int((height-width)/2)
Img = Img.crop([0,height-width-tmp,width,height-tmp])
size = 32,32
Img.thumbnail(size, Image.ANTIALIAS)
r,g,b = Img.split()
r_array = np.array(r).reshape([1024])
g_array = np.array(g).reshape([1024])
b_array = np.array(b).reshape([1024])
merge_array = np.concatenate((r_array,g_array,b_array))
if arr == [[]]:
arr = [merge_array]
continue
arr = np.concatenate((arr, [merge_array]),axis=0)
dic = {'data': arr}
f = open('./img2array.bin','wb')
pickle.dump(dic,f)
五,load代码
import pickle
f = open('./img2array.bin','rb')
dic = pickle.load(f)
arr = dic['data']
print(arr.shape)
总结
生成的“img2array.bin”文件就是我们想要的图像数据文件。当然了,这只是一类图像数据,重复这个过程就可以生成很多类的图像数据了。