cifar数据集介绍及到图像转换的实现

最新推荐文章于 2024-05-24 01:00:00 发布
最新推荐文章于 2024-05-24 01:00:00 发布
阅读量1.1w 收藏 10
点赞数 2
分类专栏： Caffe Database/Dataset Deep Learning Neural Network
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengbingchun/article/details/53560637
版权
Deep Learning 同时被 3 个专栏收录
128 篇文章 116 订阅
订阅专栏
Caffe
51 篇文章 18 订阅
订阅专栏
Neural Network
29 篇文章 38 订阅
订阅专栏

CIFAR是一个用于普通物体识别的数据集。CIFAR数据集分为两种：CIFAR-10和CIFAR-100。The CIFAR-10 and CIFAR-100 are labeled subsets of the 80 million tiny images dataset. They were collected by Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton.

CIFAR-10由60000张大小为32*32的三通道彩色图像组成，被分为10类，分别为airplane、automobile、bird、cat、deer、dog、frog、horse、ship、truck。每类由6000张图像。其中50000张图像用来训练，10000张图像用来测试。数据集分为5个训练块和1个测试块,每个块包含10000张图像.训练集每类包含5000张图像,测试集每类包含1000张图像.

CIFAR-100由60000张大小为32*32的三通道彩色图像组成，分为20个大类，每个大类又包含5个小类，总共100个小类。每个小类包含600张图像，其中500张用于训练，100张用于测试。

从https://www.cs.toronto.edu/~kriz/cifar.html 下载CIFAR C版本的二进制数据：

(1)、CIFAR-10：下载cifar-10-binary.tar.gz，解压缩，共8个文件，batches.meta.txt中存放10个种类名，data_batch_1.bin… data_batch_5.bin、test_batch.bin共6个文件，每个文件中存放10000张图像数据。

(2)、CIFAR-100：下载cifar-100-binary.tar.gz，解压缩，共5个文件，coarse_label_names.txt中存放20个大类名，fine_label_names.txt中存放100个小类名，train.bin中存放50000张训练图像，test.bin中存放10000张测试图像。

CIFAR数据集到图像转换实现的代码如下：

static void write_image_cifar(const cv::Mat& bgr, const std::string& image_save_path, const std::vector<int>& label_count, int label_class)
{
	std::string str = std::to_string(label_count[label_class]);

	if (label_count[label_class] < 10) {
		str = "0000" + str;
	} else if (label_count[label_class] < 100) {
		str = "000" + str;
	} else if (label_count[label_class] < 1000) {
		str = "00" + str;
	} else if (label_count[label_class] < 10000) {
		str = "0" + str;
	} else {
		fprintf(stderr, "save image name fail\n");
		return;
	}

	str = std::to_string(label_class) + "_" + str + ".png";
	str = image_save_path + str;

	cv::imwrite(str, bgr);
}

static void read_cifar_10(const std::string& bin_name, const std::string& image_save_path, int image_count, std::vector<int>& label_count)
{
	int image_width = 32;
	int image_height = 32;

	std::ifstream file(bin_name, std::ios::binary);
	if (file.is_open()) {
		for (int i = 0; i < image_count; ++i) {
			cv::Mat red = cv::Mat::zeros(image_height, image_width, CV_8UC1);
			cv::Mat green = cv::Mat::zeros(image_height, image_width, CV_8UC1);
			cv::Mat blue = cv::Mat::zeros(image_height, image_width, CV_8UC1);

			int label_class = 0;
			file.read((char*)&label_class, 1);
			label_count[label_class]++;

			file.read((char*)red.data, 1024);
			file.read((char*)green.data, 1024);
			file.read((char*)blue.data, 1024);

			std::vector<cv::Mat> tmp{ blue, green, red };
			cv::Mat bgr;
			cv::merge(tmp, bgr);

			write_image_cifar(bgr, image_save_path, label_count, label_class);
		}

		file.close();
	}
}

int CIFAR10toImage()
{
	std::string images_path = "E:/GitCode/NN_Test/data/database/CIFAR/CIFAR-10/";
	// train image
	std::vector<int> label_count(10, 0);
	for (int i = 1; i <= 5; i++) {
		std::string bin_name = images_path + "data_batch_" + std::to_string(i) + ".bin";
		std::string image_save_path = "E:/GitCode/NN_Test/data/tmp/cifar-10_train/";
		int image_count = 10000;

		read_cifar_10(bin_name, image_save_path, image_count, label_count);
	}

	// test image
	std::fill(&label_count[0], &label_count[0] + 10, 0);
	std::string bin_name = images_path + "test_batch.bin";
	std::string image_save_path = "E:/GitCode/NN_Test/data/tmp/cifar-10_test/";
	int image_count = 10000;

	read_cifar_10(bin_name, image_save_path, image_count, label_count);

	// save big imags
	images_path = "E:/GitCode/NN_Test/data/tmp/cifar-10_train/";
	int width = 32 * 20;
	int height = 32 * 10;
	cv::Mat dst(height, width, CV_8UC3);

	for (int i = 0; i < 10; i++) {
		for (int j = 1; j <= 20; j++) {
			int x = (j - 1) * 32;
			int y = i * 32;
			cv::Mat part = dst(cv::Rect(x, y, 32, 32));

			std::string str = std::to_string(j);
			if (j < 10)
				str = "0000" + str;
			else
				str = "000" + str;

			str = std::to_string(i) + "_" + str + ".png";
			std::string input_image = images_path + str;

			cv::Mat src = cv::imread(input_image, 1);
			if (src.empty()) {
				fprintf(stderr, "read image error: %s\n", input_image.c_str());
				return -1;
			}

			src.copyTo(part);
		}
	}

	std::string output_image = images_path + "result.png";
	cv::imwrite(output_image, dst);

	return 0;
}

static void write_image_cifar(const cv::Mat& bgr, const std::string& image_save_path,
	const std::vector<std::vector<int>>& label_count, int label_class_coarse, int label_class_fine)
{
	std::string str = std::to_string(label_count[label_class_coarse][label_class_fine]);

	if (label_count[label_class_coarse][label_class_fine] < 10) {
		str = "0000" + str;
	} else if (label_count[label_class_coarse][label_class_fine] < 100) {
		str = "000" + str;
	} else if (label_count[label_class_coarse][label_class_fine] < 1000) {
		str = "00" + str;
	} else if (label_count[label_class_coarse][label_class_fine] < 10000) {
		str = "0" + str;
	} else {
		fprintf(stderr, "save image name fail\n");
		return;
	}

	str = std::to_string(label_class_coarse) + "_" + std::to_string(label_class_fine) + "_" + str + ".png";
	str = image_save_path + str;

	cv::imwrite(str, bgr);
}

static void read_cifar_100(const std::string& bin_name, const std::string& image_save_path, int image_count, std::vector<std::vector<int>>& label_count)
{
	int image_width = 32;
	int image_height = 32;

	std::ifstream file(bin_name, std::ios::binary);
	if (file.is_open()) {
		for (int i = 0; i < image_count; ++i) {
			cv::Mat red = cv::Mat::zeros(image_height, image_width, CV_8UC1);
			cv::Mat green = cv::Mat::zeros(image_height, image_width, CV_8UC1);
			cv::Mat blue = cv::Mat::zeros(image_height, image_width, CV_8UC1);

			int label_class_coarse = 0;
			file.read((char*)&label_class_coarse, 1);
			int label_class_fine = 0;
			file.read((char*)&label_class_fine, 1);
			label_count[label_class_coarse][label_class_fine]++;

			file.read((char*)red.data, 1024);
			file.read((char*)green.data, 1024);
			file.read((char*)blue.data, 1024);

			std::vector<cv::Mat> tmp{ blue, green, red };
			cv::Mat bgr;
			cv::merge(tmp, bgr);

			write_image_cifar(bgr, image_save_path, label_count, label_class_coarse, label_class_fine);
		}

		file.close();
	}
}

int CIFAR100toImage()
{
	std::string images_path = "E:/GitCode/NN_Test/data/database/CIFAR/CIFAR-100/";
	// train image
	std::vector<std::vector<int>> label_count;
	label_count.resize(20);
	for (int i = 0; i < 20; i++) {
		label_count[i].resize(100);
		std::fill(&label_count[i][0], &label_count[i][0] + 100, 0);
	}

	std::string bin_name = images_path + "train.bin";
	std::string image_save_path = "E:/GitCode/NN_Test/data/tmp/cifar-100_train/";
	int image_count = 50000;

	read_cifar_100(bin_name, image_save_path, image_count, label_count);

	// test image
	for (int i = 0; i < 20; i++) {
		label_count[i].resize(100);
		std::fill(&label_count[i][0], &label_count[i][0] + 100, 0);
	}
	bin_name = images_path + "test.bin";
	image_save_path = "E:/GitCode/NN_Test/data/tmp/cifar-100_test/";
	image_count = 10000;

	read_cifar_100(bin_name, image_save_path, image_count, label_count);

	// save big imags
	images_path = "E:/GitCode/NN_Test/data/tmp/cifar-100_train/";
	int width = 32 * 20;
	int height = 32 * 100;
	cv::Mat dst(height, width, CV_8UC3);
	std::vector<std::string> image_names;

	for (int j = 0; j < 20; j++) {
		for (int i = 0; i < 100; i++) {
			std::string str1 = std::to_string(j);
			std::string str2 = std::to_string(i);
			std::string str = images_path + str1 + "_" + str2 + "_00001.png";
			cv::Mat src = cv::imread(str, 1);
			if (src.data) {
				for (int t = 1; t < 21; t++) {
					if (t < 10)
						str = "0000" + std::to_string(t);
					else
						str = "000" + std::to_string(t);

					str = images_path + str1 + "_" + str2 + "_" + str + ".png";
					image_names.push_back(str);
				}
			}
		}
	}

	for (int i = 0; i < 100; i++) {
		for (int j = 0; j < 20; j++) {
			int x = j * 32;
			int y = i * 32;
			cv::Mat part = dst(cv::Rect(x, y, 32, 32));
			cv::Mat src = cv::imread(image_names[i * 20 + j], 1);
			if (src.empty()) {
				fprintf(stderr, "read image fail: %s\n", image_names[i * 20 + j].c_str());
				return -1;
			}

			src.copyTo(part);
		}
	}

	std::string output_image = images_path + "result.png";
	cv::imwrite(output_image, dst);

	cv::Mat src = cv::imread(output_image, 1);
	if (src.empty()) {
		fprintf(stderr, "read result image fail: %s\n", output_image.c_str());
		return -1;
	}
	for (int i = 0; i < 4; i++) {
		cv::Mat dst = src(cv::Rect(0, i * 800, 640, 800));
		std::string str = images_path + "result_" + std::to_string(i + 1) + ".png";
		cv::imwrite(str, dst);
	}

	return 0;
}
cifar-10转换的结果如下：

cifar-100转换的结果如下：



GitHub：https://github.com/fengbingchun/NN_Test

fengbingchun
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习 10. cifar-10 介绍
不积跬步无以至千里
03-17 3万+
cifar-10 介绍
cifar10数据集图片转换
05-10
主要是对cifar10数据集的一个图片的读取操作，将cifar10数据集的bin格式转换为图片格式，注意需要自行下载数据，建立test,train空文档
CiFAR介绍
热门推荐
实践求真知
05-12 1万+
CIFAR是由Alex Krizhevsky、Vinod Nair和Geoffrey Hinton收集而来，起初的数据集共分10类，分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车，所以CIFAR数据集常以CIFAR-10命名。CIFAR共包含60000张32*32的彩色图像（包含50000张训练图片，10000张测试图片），其中没有任何类型重叠的情况。因为是彩色图像，所以这个数据集是三通道的...
基于轻量级神经网络GhostNet开发构建CIFAR100数据集场景下的图像识别分析系统，对比不同分辨路尺度下模型的性能情况
最新发布
Together_CZ的博客
05-24 1121
基于轻量级神经网络GhostNet开发构建CIFAR100数据集场景下的图像识别分析系统，对比不同分辨路尺度下模型的性能情况
cifar-100数据集转成图片格式
赫凯的博客
07-16 3906
cifar-100数据集转成png格式 import os import numpy as np from scipy import misc # 给我个路径我要创建文件呢 def makfile(path): isExists = os.path.exists(path) if not isExists: os.makedirs(path) # 解压数据呢 d...
CIFAR 数据集
无聊的豆奶
12-15 4116
简介 CIFAR-10 和 CIFAR-100 是一个包含 8,000 万张微型图像数据集的带标签子集。由 Alex Krizhevsky, Vinod Nair 和 Geoffrey Hinton 收集整理。 CIFAR-10 CIFAR-10 数据集包含 60,000 张 32x32 彩色图片，分为 10 个类别，每个类别 6,000 张。分为训练图片 50,000 张，测试图片 10,000 张。 该数据集分为 5 个训练 batch 和 1 个测试 batch，每个 batch 包含 10,000
cifar-100 数据集转图片 python 代码
我才是一卓的博客
09-27 1425
注：最终图片数据集以 100 分类文件夹存放。 from PIL import Image import numpy as np import pickle import os from tqdm import trange from os.path import join def my_mkdirs(path): if not os.path.exists(path): os.makedirs(path) def unpickle(file): with op
CIFAR-100 图片格式数据集
09-27
CIFAR-100 图片格式数据集是计算机视觉领域常用的一个小型图像数据集，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2009年创建。这个数据集主要用于训练和评估深度学习模型，尤其是在图像分类任务上。...
keras实现VGG16 CIFAR10数据集方式
09-16
在本文中，我们将深入探讨如何使用Keras库在CIFAR10数据集上实现VGG16模型。CIFAR10是一个广泛使用的图像识别数据集，包含10个类别的60,000张32x32像素的小型彩色图像。VGG16是一种深度卷积神经网络（CNN），在...
cifar2png:将CIFAR-10和CIFAR-100数据集转换为PNG图像
05-05
将CIFAR-10或CIFAR-100数据集转换为PNG图像。 安装 $ pip install cifar2png 用法 $ cifar2png <dataset> <output> [--name-with-batch-index] dataset ：指定cifar10或cifar100或cifar100superclass output_dir ...
PyTorch读取Cifar数据集并显示图片的实例讲解
12-23
首先了解一下需要的几个类所在的package from torchvision import transforms, datasets as ds from torch.utils.data import DataLoader ...#这里对图片不做任何处理，仅仅是把PIL.Image转换为torch.FloatTensor，从
CIFAR100数据集中提取出来的物体图片
02-13
从官方的CIFAR100数据集中提取出来的物体图片，包括训练及测试
cifar数据集,图片大小32*32；总共有十个类,每个类有6000张图
03-19
cifar数据集,图片大小32*32；总共有十个类,每个类有6000张图
Cifar数据集转图片（jpg）
ddq58011的博客
12-02 487
依赖于opencv 这里有已经提取好数据 #include<iostream> #include<fstream> #include<string> #include<map> #include<vector> #include<opencv2/opencv.hpp> using namespace std; ...
把cifar100的图片切割成一张张图片
黄佳俊的博客
05-22 166
把cifar100的图片切割成一张张图片（python代码）： # -*- coding:utf-8 -*- import pickle as p import numpy as np import matplotlib.pyplot as plt import matplotlib.image as plimg from PIL import Image def load_CIFAR_batch(filename): """ load single batch of cifar """
用python将[CIFAR-10]数据集转换为图片格式
weixin_42650424的博客
12-07 2459
用python将CIFAR-10]数据集转换为图片格式 cifar10数据集下载：http://www.cs.toronto.edu/~kriz/cifar.html 代码 import numpy as np import pickle as pkl import imageio #将cifar10数据转化为图片+标签格式 #定义反序列函数 def unpickle(file): ...
将CIFAR-10和CIFAR-100数据集处理成“标签文件夹”形式（ImageFolder可读）
Mr.zwX
10-03 1253
将以下python脚本放置到数据集源文件中，执行即可。然后得到的数据格式就是ImageFolder可读的形式了（划分了train和val文件夹，并且每个文件夹下都有#classes个以label命名的文件夹）
部分常见数据集整理与使用（MNIST,CIFAR,Pascal VOC...）
dexterod的博客
03-07 1526
声明：笔者整理了过去用过的部分数据集，部分文字和图片来源已遗忘，如有侵权请联系作者删除博文，谢谢~！ 1. MNIST 1.1 数据集介绍        MNIST是机器学习领域中非常经典的一个数据集，由60000个训练样本和10000个测试样本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。 2.2 官网及下载 &...
CIFAR10及cifar100 dataset 的下载与使用、转图片
小C的博客
12-21 7880
【时间】2019.12.21 【题目】CIFAR-10 dataset 的下载与使用、转图片 cifar10与cifar100下载地址：http://www.cs.toronto.edu/~kriz/cifar.html 一、cifar10介绍及转换图片 具体参考：CIFAR-10 dataset 的下载与使用、转图片. 解压源文件的函数： import cv2 import ...
如何使用matlab将CIFAR10数据集转换成图片集
05-16
CIFAR10数据集是一个二进制文件，包含了一些32x32像素的彩色图片。下面是一个MATLAB代码示例，演示如何将CIFAR10数据集转换成图片集。 ```matlab % 定义文件路径和名称 dataFile = 'cifar-10-batches-mat\data_batch_1.mat'; % 加载数据 data = load(dataFile); % 获取图像数据 images = data.data; % 获取标签数据 labels = data.labels; % 定义图像文件夹路径 imgFolder = 'cifar10_images'; % 如果文件夹不存在则创建文件夹 if ~exist(imgFolder, 'dir') mkdir(imgFolder); end % 循环处理每张图像 for i = 1:size(images,1) % 生成图像文件名 imgName = strcat(imgFolder, '\', num2str(i), '_', num2str(labels(i)), '.png'); % 获取图像数据 imgData = images(i,:); % 重塑图像数据形状 imgData = reshape(imgData, [32,32,3]); % 将数据类型转换为无符号8位整数 imgData = uint8(imgData); % 保存图像文件 imwrite(imgData, imgName); end ``` 在上面的示例中，我们首先定义了CIFAR10数据集文件的路径和名称，然后使用MATLAB的load函数加载数据。接下来，我们将图像数据和标签数据分别存储在变量images和labels中。 我们还定义了一个图像文件夹路径，用于存储转换后的图像。如果该文件夹不存在，则使用MATLAB的mkdir函数创建该文件夹。 然后，我们使用循环处理每张图像，生成一个唯一的图像文件名，获取图像数据，将图像数据重塑为32x32x3的形状，并将数据类型转换为无符号8位整数。最后，我们使用MATLAB的imwrite函数保存图像文件。 请注意，上面的代码示例只处理了CIFAR10数据集的一个批次。如果您想转换整个数据集，请在循环中使用所有批次的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值