声明:笔者整理了过去用过的部分数据集,部分文字和图片来源已遗忘,如有侵权请联系作者删除博文,谢谢~!
1. MNIST
1.1 数据集介绍
MNIST是机器学习领域中非常经典的一个数据集,由60000个训练样本和10000个测试样本组成,每个样本都是一张28 * 28像素的灰度手写数字图片。
2.2 官网及下载
下载官方网站: http://yann.lecun.com/exdb/mnist/
一共4个文件,训练集、训练集标签、测试集、测试集标签
2.3 导入MNIST数据集
读入MNIST数据集:直接下载下来的数据是无法通过解压或者应用程序打开的,因为这些文件不是任何标准的图像格式而是以字节的形式进行存储的,所以必须编写程序来打开它。
我们使用TensorFlow进行解压,使用TensorFlow中input_data.py脚本来读取数据及标签,使用这种方式时,也可以不用事先下载好数据集,它会自动下载并存放到你指定的位置。
输出为:
mnist.train.images.shape是一个形状为【55000,784】的张量,其中第一维度数字用来索引图片,第二个维度数字用来索引每张图片中的像素点。此张量里的每一个元素,都表示某张图片里的某个像素的强度值,值介于0~255之间。
相对应的,MNIST数据集的标签是介于0~9之间的数字,用来描述给定图片里表示的数字。标签数据是“one-hot vectors”:一个one-hot向量,除了某一位的数字是1外,其余各维度数字都是0。例如,标签0将表示为([1,0,0,0,0,0,0,0,0,0,0])。因此,mnist.train.labels是一个[55000,10]的数字矩阵。
2. CIFAR
2.1 数据集介绍
CIFAR由 Alex Krizhevsky、Vinod Nair和Geoffrey Hinton收集而来,起初的数据集共分为10类,分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车,所以CIFAR数据集常以CIFAR-10命名。CIFAR共包含 60000 张 32×32 的彩色图像(包含50000张训练图片,10000张测试图片),其中没有任何类型重叠的情况。因为是彩色图像,所以这个数据集是三通道的