ML(2)-图像分类常用数据集

在训练神经网络进行图像识别分类时，常会用到一些通用的数据集合。利用这些数据集合可以对比不同模型的性能差异。下文整理常用的图片数据集合（持续更新中)。
基本信息对比表格：

数据集合	类别数	图像数/类	训练集	测试集	图像大小	格式	数据集大小	图像内容
CIFAR-10	10	6k	5w	1w	32*32	RGB	163M	交通工具，动物
MNIST	10	7k	6w	1w	28*28	灰度	54M	手写数字
STL_10	10	1300(label)+10W(unlabel)	500	800	96*96	RGB	2.5G	与cifar一样
L-sun	10	–	–	–	256*256	RGB	>50G	场景

1 CIFAR-10

CIFAR-10是RGB 彩色图像数据集，是Hinton的学生Alex标注整理发布。
数据集发布网站：http://www.cs.toronto.edu/~kriz/cifar.html

一共包含10 个类别：飞机（ airplane ）、汽车（ automobile ）、鸟类（ bird ）、猫（ cat ）、鹿（ deer ）、狗（ dog ）、蛙类（ frog ）、马（ horse ）、船（ ship ）和卡车（ truck ）。

每个图片的尺寸为32 × 32 ，每个类别有6000个图像，数据集中一共有50000 张训练图片和10000 张测试图片。训练数据背分别放在5个.bin文件中，测试数据放在1个文件中。

一个样本由32323=3073 个字节组成，第一个字节为标签label ，剩下3072 个字节为图像数据。样本和样本之间没高多余的字节分割， 每个二进制文件的大小是30730000 字节。

数据集合的文件目录如下：

通过pytorch 读入cifar-10数据文件：

transform=transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ])

训练集，将目录./data下的cifar-10-batches-py文件夹中的全部训练数据（50000张训练图片）加载到内存中，若download为True时，会自动从网上下载数据并解压

trainset = torchvision.datasets.CIFAR10(root=‘./data’, train=True, download=True, transform=transform)

将训练集的50000张图片划分成12500份，每份4张图，用于mini-batch输入。shffule=True在不同epoch的数据遍历时，打乱顺序重新分组。num_workers=2：使用两个子进程来加载数据

trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2)

测试集，将目录./data下的cifar-10-batches-py文件夹中的全部测试数据（10000张测试图片）加载到内存中，若download为True时，会自动从网上下载数据并解压

testset = torchvision.datasets.CIFAR10(root=‘./data’, train=False, download=False, transform=transform)

将测试集的10000张图片划分成2500份，每份4张图，用于mini-batch输入。

testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2)

用for 循环enumerate在trainloader和testloader 中取批次数据即可。

for i, data in enumerate(trainloader, 0):

参考资料：https://blog.csdn.net/qq_41185868/article/details/82793025

2.MNIST

3.STL_10

官方网址:https://cs.stanford.edu/~acoates/stl10/

STL-10数据集是用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。它的灵感来自CIFAR-10数据集，并进行了一些修改。与CIFAR-10相比，每一类别 标记训练样本数量较少.但是在监督训练之前，提供了大量的未标记样本来学习图像模型。主要的困难是利用未标记的数据（来自与标记数据相似但不同的分布）来构建有用的先验。我们还期望，该数据集以较高分辨率（96x96）将使其成为开发更具伸缩性的无监督学习方法的基准。

1.10个类：飞机、鸟、汽车、猫、鹿、狗、马、猴、船、卡车。
2.图像为96x96像素，彩色。
3.500张训练图像（10份）/每类，800张测试图像/每类。
4.用于无监督学习的100000张无标签图像。这些样本是从相似但分布更广的图像中提取出来的。例如，10类标签中的动物外，它还包含其5.他类型的动物（熊、兔子等）和车辆（火车、公共汽车等）。
图像是从ImageNet上标记的样本中获取的。

官网提供了matlab 版本(.mat)和python 版本(二进制文件)的数据文件,(我用的是python版本的文件)

二进制文件有数据文件和标签文件：train_X.bin(数据文件)、train_y.bin(标签文件)、test_X.bin和test_y.bin。在每个值中，数据存储格式:uint8的数组。图像以列主顺序存储，一次一个通道。也就是说，前9696值是红色通道，后9696值是绿色，最后一个是蓝色。标签在1到10之间。未标记的数据集unlabeld.bin的格式相同，但不存在“y.bin”文件。

提供一个class_names.txt文件供参考，每行一个类名。

文件fold_index.txt包含用于训练的每个fold的（0开始）索引。第一行包含第一个fold、第二行、第二个fols索引等等等。

感谢Martin Tutek为加载/查看STL-10提供代码！链接:https://github.com/mttk/STL10
stl10在pytorch 中对应的数据载入接口：torchvision.datasets.STL10(root: str, split: str = ‘train’, folds: Optional[int] = None, transform: Optional[Callable] = None, target_transform: Optional[Callable] = None, download: bool = False)

4.Imagenet

网址:http://www.image-net.org/download.php
ImageNet是一个根据WordNet层次结构（目前只有名词）组织的图像数据库，其中每个节点都由成百上千的图像描述。目前平均每个节点有500多个图像。
1500万张,数据大小1TB,但是算力不够的情况下只会用到其中的一些子集.

光imaget 2012 就是150G(下不动,下不动)

pytorch 提供的数据接口针对:ImageNet 2012 Classification Dataset.

要注册,才能下载图像,知乎操作:https://zhuanlan.zhihu.com/p/42696535

5.L-Sun

官网:https://www.yf.io/p/lsun-介绍l-sun 文章,比赛,数据集,有链接直转到数据下载github仓库
github:https://github.com/fyu/lsun

l-sun 是一个场景数据库,包括10个场景.场景和对应的序号为:

bedroom 0 # --40G
bridge 1
church_outdoor 2
classroom 3
conference_room 4
dining_room 5
kitchen 6
living_room 7
restaurant 8
tower 9 #train+test --13.9G

tower-train-Minibatch_size为64,有11067个batch,约合70w张图片)

6.caltech-101

官网:http://www.vision.caltech.edu/Image_Datasets/Caltech101/
加利福尼亚理工学院101类图像数据库,有101类物体的图片。每个类别大约有40到800个图像。大多数类别都有大约50张图片。2003年9月由李飞飞、安德烈托和兰扎托收藏。每个图像的大小大约为300 x 200像素。(9144张,平均每个类别90张)
制作者们仔细点击了这些图片中每个对象的轮廓，轮廓信息包含在“Annotations.tar”下面,有一个matlab脚本可以查看注释,
“show_annotations.m”。

caltech-256,30607张图片,1.2G(平均每个类别119张.)

101 object， 256 object 都是folder 数据集合，使用pytorch dset.ImageFolder接口即可.