机器学习:CIFAR-10数据集解析一揽子
CIFAR-10数据集是由Alex Krizhevsky,Vinod Nair和Geoffrey Hinton收集的数据集的标记子集,CIFAR-10数据集包含10个类别的60000个32x32彩色图像,每个类别6000个图像。有50000张训练图像和10000张测试图像。
官方网站:http://www.cs.toronto.edu/~kriz/cifar.html
官网中提供了三种数据集的下载,分别是Python,Matlab,binary(用于C语言),在这里,我使用了Python版本的数据集。
数据集读取
在官网中给出了读取数据集的方法:
def unpickle(file):
import pickle
with open(file, 'rb') as fo:
dict = pickle.load(fo, encoding='bytes')
return dict
返回的是一个字典类型的集合。
数据集分析
我们通过代码对数据集进行分析:
dict = unpickle("data_batch_1")
print(dict.keys())
结果如下:
数据集有四个键值:b’batch_label’,b’label’,b’data’,b’filenames’
接下来,对这四个键值进行分析:
dict = unpickle("data_batch_1")
print(dict.keys())
print(type(dict[b'batch_label']))
print(type(dict[b'labels']))
print(type(dict[b'data']))
print(type(dict[b'filenames']))
结果为:
可以找到四个键值分别对应的类型
接下来,直接打印出数据集的全部内容:
此时,很明显,b’batch_label’为所属的文件集,b’labels’指图片的标签,b’filename’指文件的名称,b’data’为图片数据,参考官网对图片数据进行分析:
b’data’为一个10000x3072的矩阵,每一行存储一个32*32的图片,且有三通道组成,每1024为一个通道。例如:前32个条目是第一张图的第一行的红色通道值。
由此,通过以下代码,可以将第一张图片画出来:
import PIL.Image as image
import matplotlib.pyplot as plt
dict = unpickle("data_batch_1")
print(dict)
print(type(dict[b'batch_label']))
print(type(dict[b'labels']))
print(type(dict[b'data']))
print(type(dict[b'filenames']))
img = dict[b'data']
print(img.shape)
img_0 = img[0] #得到第一张图像
img_reshape = img_0.reshape(3,32,32)#取第一张图片的三通道值
r = image.fromarray(img_reshape[0]).convert('L')
g = image.fromarray(img_reshape[1]).convert('L')
b = image.fromarray(img_reshape[2]).convert('L')
img_m = image.merge('RGB',(r,g,b))
plt.imshow(img_m)
plt.show()
结果如下:
后记
对于数据集的学习是为了对BP-神经网络的实现作为训练集与测试集。