在训练神经网络进行图像识别分类时,常会用到一些通用的数据集合。利用这些数据集合可以对比不同模型的性能差异。下文整理常用的图片数据集合(持续更新中)。
基本信息对比表格:
数据集合 | 类别数 | 图像数/类 | 训练集 | 测试集 | 图像大小 | 格式 | 数据集大小 | 图像内容 |
---|---|---|---|---|---|---|---|---|
CIFAR-10 | 10 | 6k | 5w | 1w | 32*32 | RGB | 163M | 交通工具,动物 |
MNIST | 10 | 7k | 6w | 1w | 28*28 | 灰度 | 54M | 手写数字 |
STL_10 | 10 | 1300(label)+10W(unlabel) | 500 | 800 | 96*96 | RGB | 2.5G | 与cifar一样 |
L-sun | 10 | – | – | – | 256*256 | RGB | >50G | 场景 |
1 CIFAR-10
CIFAR-10是RGB 彩色图像数据集,是Hinton的学生Alex标注整理发布。
数据集发布网站:http://www.cs.toronto.edu/~kriz/cifar.html
一共包含10 个类别:飞机( airplane )、汽车( automobile )、鸟类( bird )、猫( cat )、鹿( deer )、狗( dog )、蛙类( frog )、马( horse )、船( ship )和卡车( truck )。
每个图片的尺寸为32 × 32 ,每个类别有6000个图像,数据集中一共有50000 张训练图片和10000 张测试图片。训练数据背分别放在5个.bin文件中,测试数据放在1个文件中。
一个样本由32323=3073 个字节组成,第一个字节为标签label ,剩下3072 个字节为图像数据。样本和样本之间没高多余的字节分割, 每个二进制文件的大小是30730000 字节。
数据集合的文件目录如下:
通过pytorch 读入cifar-10数据文件:
transform=transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ])
训练集,将目录./data下的cifar-10-batches-py文件夹中的全部训练数据(50000张训练图片)加载到内存中,若download为True时,会自动从网上下载数据并解压
trainset = torchvision.datasets.CIFAR10(root=‘./data’, train=True, download=True, transform=transform)
将训练集的50000张图片划分成12500份,每份4张图,用于mini-batch输入。shffule=True在不同epoch的数据遍历时,打乱顺序重新分组。num_workers=2:使用两个子进程来加载数据
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2)
测试集,将目录./data下的cifar-10-batches-py文件夹中的全部测试数据(10000张测试图片)加载到内存中,若download为True时,会自动从网上下载数据并解压
testset = torchvision.datasets.CIFAR10(root=‘./data’, train=False, download=False, transform=transform)
将测试集的10000张图片划分成2500份,每份4张图,用于mini-batch输入。
testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2)
用for 循环enumerate在trainloader和testloader 中取批次数据即可。
for i, data in enumerate(trainloader, 0):
参考资料:https://blog.csdn.net/qq_41185868/article/details/82793025
2.MNIST
3.STL_10
官方网址:https://cs.stanford.edu/~acoates/stl10/
STL-10数据集是用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。它的灵感来自CIFAR-10数据集,并进行了一些修改。与CIFAR-10相比,每一类别 标记训练样本数量较少.但是在监督训练之前,提供了大量的未标记样本来学习图像模型。主要的困难是利用未标记的数据(来自与标记数据相似但不同的分布)来构建有用的先验。我们还期望,该数据集以较高分辨率(96x96)将使其成为开发更具伸缩性的无监督学习方法的基准。
1.10个类:飞机、鸟、汽车、猫、鹿、狗、马、猴、船、卡车。
2.图像为96x96像素,彩色。
3.500张训练图像(10份)/每类,800张测试图像/每类。
4.用于无监督学习的100000张无标签图像。这些样本是从相似但分布更广的图像中提取出来的。例如,10类标签中的动物外,它还包含其5.他类型的动物(熊、兔子等)和车辆(火车、公共汽车等)。
图像是从ImageNet上标记的样本中获取的。
官网提供了matlab 版本(.mat)和python 版本(二进制文件)的数据文件,(我用的是python版本的文件)
二进制文件有数据文件和标签文件:train_X.bin(数据文件)、train_y.bin(标签文件)、test_X.bin和test_y.bin。在每个值中,数据存储格式:uint8的数组。图像以列主顺序存储,一次一个通道。也就是说,前9696值是红色通道,后9696值是绿色,最后一个是蓝色。标签在1到10之间。未标记的数据集unlabeld.bin的格式相同,但不存在“y.bin”文件。
提供一个class_names.txt文件供参考,每行一个类名。
文件fold_index.txt包含用于训练的每个fold的(0开始)索引。第一行包含第一个fold、第二行、第二个fols索引等等等。
感谢Martin Tutek为加载/查看STL-10提供代码!链接:https://github.com/mttk/STL10
stl10在pytorch 中对应的数据载入接口:torchvision.datasets.STL10(root: str, split: str = ‘train’, folds: Optional[int] = None, transform: Optional[Callable] = None, target_transform: Optional[Callable] = None, download: bool = False)
4.Imagenet
网址:http://www.image-net.org/download.php
ImageNet是一个根据WordNet层次结构(目前只有名词)组织的图像数据库,其中每个节点都由成百上千的图像描述。目前平均每个节点有500多个图像。
1500万张,数据大小1TB,但是算力不够的情况下只会用到其中的一些子集.
光imaget 2012 就是150G(下不动,下不动)
pytorch 提供的数据接口针对:ImageNet 2012 Classification Dataset.
要注册,才能下载图像,知乎操作:https://zhuanlan.zhihu.com/p/42696535
5.L-Sun
官网:https://www.yf.io/p/lsun-介绍l-sun 文章,比赛,数据集,有链接直转到数据下载github仓库
github:https://github.com/fyu/lsun
l-sun 是一个场景数据库,包括10个场景.场景和对应的序号为:
bedroom 0 # --40G
bridge 1
church_outdoor 2
classroom 3
conference_room 4
dining_room 5
kitchen 6
living_room 7
restaurant 8
tower 9 #train+test --13.9G
tower-train-Minibatch_size为64,有11067个batch,约合70w张图片)
6.caltech-101
官网:http://www.vision.caltech.edu/Image_Datasets/Caltech101/
加利福尼亚理工学院101类图像数据库,有101类物体的图片。每个类别大约有40到800个图像。大多数类别都有大约50张图片。2003年9月由李飞飞、安德烈托和兰扎托收藏。每个图像的大小大约为300 x 200像素。(9144张,平均每个类别90张)
制作者们仔细点击了这些图片中每个对象的轮廓,轮廓信息包含在“Annotations.tar”下面,有一个matlab脚本可以查看注释,
“show_annotations.m”。
caltech-256,30607张图片,1.2G(平均每个类别119张.)
101 object, 256 object 都是folder 数据集合,使用pytorch dset.ImageFolder接口即可.