libtorch---day04[MNIST数据集]

最新推荐文章于 2024-10-05 12:07:50 发布
最新推荐文章于 2024-10-05 12:07:50 发布
阅读量955 收藏 7
点赞数 24
文章标签： c++ pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43495930/article/details/141865767
版权

参考pytorch。

数据集读取

MNIST数据集是一个广泛使用的手写数字识别数据集，包含 60,000张训练图像和10,000张测试图像。每张图像是一个 28 × 28 28\times 28 28×28像素的灰度图像，标签是一个 0到9之间的数字，表示图像中的手写数字。

MNIST 数据集的文件格式

  • 图像文件格式
    图像文件包含一系列28x28像素的灰度图像，文件的前16个字节是头信息，后面是图像数据。头信息的格式如下：

魔数（4 字节）：用于标识文件类型。对于图像文件，魔数是 2051（0x00000803）。
图像数量（4 字节）：表示文件中包含的图像数量。
图像高度（4 字节）：表示每个图像的高度，通常为 28。
图像宽度（4 字节）：表示每个图像的宽度，通常为 28。
图像数据紧随其后，每个像素占用 1 字节，按行优先顺序存储。

  • 标签文件格式
    标签文件包含一系列标签，文件的前8个字节是头信息，后面是标签数据。头信息的格式如下：

魔数（4 字节）：用于标识文件类型。对于标签文件，魔数是 2049（0x00000801）。
标签数量（4 字节）：表示文件中包含的标签数量。
标签数据紧随其后，每个标签占用 1 字节，表示图像的类别（0 到 9）。

std::string dataset_path = "../dataSet/MNIST";
void loadMNIST(std::vector<cv::Mat>& images, std::vector<torch::Tensor>& images_tensor, std::vector<uint8_t>& labels, torch::Tensor& train_labels, bool train_data) {
    int32_t magic_number;
    int32_t num;
    int32_t HEIGHT;
    int32_t WIDTH;

    std::string image_path = train_data ? dataset_path + "/train-images.idx3-ubyte" : dataset_path + "/t10k-images.idx3-ubyte";
    std::string label_path = train_data ? dataset_path + "/train-labels.idx1-ubyte" : dataset_path + "/t10k-labels.idx1-ubyte";

    images.clear();
    labels.clear();
    images_tensor.clear();

    std::ifstream fs;
    fs.open(image_path.c_str(), std::ios::binary);
    if (fs.is_open()) {
        fs.read(reinterpret_cast<char*>(&magic_number), sizeof(magic_number));
        magic_number = _byteswap_ulong(magic_number);
        fs.read(reinterpret_cast<char*>(&num), sizeof(num));
        num = _byteswap_ulong(num);
        fs.read(reinterpret_cast<char*>(&HEIGHT), sizeof(HEIGHT));
        HEIGHT = _byteswap_ulong(HEIGHT);
        fs.read(reinterpret_cast<char*>(&WIDTH), sizeof(WIDTH));
        WIDTH = _byteswap_ulong(WIDTH);
        printf("magic number: %d, image number: %d, image height: %d, image width: %d\n", magic_number, num, HEIGHT, WIDTH);
        for (int i = 0; i < num; i++) {
            std::vector<unsigned char> image_data;
            image_data.resize(HEIGHT * WIDTH);
            fs.read(reinterpret_cast<char*>(image_data.data()), HEIGHT * WIDTH);

            cv::Mat image_cv(HEIGHT, WIDTH, CV_8UC1, image_data.data());
            torch::Tensor image_torch = torch::from_blob(image_data.data(), { static_cast<long long>(image_data.size()) }, torch::kUInt8).clone();
            image_torch = image_torch.to(torch::kF32) / 255.;
            images_tensor.push_back(image_torch);
            images.push_back(image_cv.clone()); // 使用 clone() 确保数据独立
        }
        printf("image vector size: %d\n", int(images.size()));
        fs.close();
    }
    else {
        printf("can not open file %s\n", image_path.c_str());
        return;
    }

    fs.open(label_path.c_str(), std::ios::binary);
    if (fs.is_open()) {
        fs.read(reinterpret_cast<char*>(&magic_number), sizeof(magic_number));
        magic_number = _byteswap_ulong(magic_number);
        fs.read(reinterpret_cast<char*>(&num), sizeof(num));
        num = _byteswap_ulong(num);
        printf("magic number: %d, label number: %d\n", magic_number, num);
        labels.resize(num);
        fs.read(reinterpret_cast<char*>(labels.data()), num);
        train_labels = torch::from_blob(labels.data(), { num }, torch::kUInt8).clone();
        fs.close();
    }
    else {
        printf("can not open file %s\n", label_path.c_str());
        return;
    }
}
  • 要点
    • 在读取 MNIST 数据集时，文件中的数据是以大端序存储的，而大多数现代计算机（如 x86 架构）使用小端序。因此，在读取文件中的数据时，需要进行字节序转换，以确保数据的正确性。
    • 读取数据的时候，用for循环进行读取，如果用while(!fs.eof())，如果不额外处理，会导致多一个数据出来。
    • 用void数据构造Tensor*的时候，要注意调用clone方法。

全部代码

这里就一个线性层，结合交叉熵函数；

#include <torch/torch.h>
#include <fstream>
#include <opencv2/opencv.hpp>

std::string dataset_path = "../dataSet/MNIST";
void loadMNIST(std::vector<cv::Mat>& images, std::vector<torch::Tensor>& images_tensor, std::vector<uint8_t>& labels, torch::Tensor& train_labels, bool train_data) {
    int32_t magic_number;
    int32_t num;
    int32_t HEIGHT;
    int32_t WIDTH;

    std::string image_path = train_data ? dataset_path + "/train-images.idx3-ubyte" : dataset_path + "/t10k-images.idx3-ubyte";
    std::string label_path = train_data ? dataset_path + "/train-labels.idx1-ubyte" : dataset_path + "/t10k-labels.idx1-ubyte";

    images.clear();
    labels.clear();
    images_tensor.clear();

    std::ifstream fs;
    fs.open(image_path.c_str(), std::ios::binary);
    if (fs.is_open()) {
        fs.read(reinterpret_cast<char*>(&magic_number), sizeof(magic_number));
        magic_number = _byteswap_ulong(magic_number);
        fs.read(reinterpret_cast<char*>(&num), sizeof(num));
        num = _byteswap_ulong(num);
        fs.read(reinterpret_cast<char*>(&HEIGHT), sizeof(HEIGHT));
        HEIGHT = _byteswap_ulong(HEIGHT);
        fs.read(reinterpret_cast<char*>(&WIDTH), sizeof(WIDTH));
        WIDTH = _byteswap_ulong(WIDTH);
        printf("magic number: %d, image number: %d, image height: %d, image width: %d\n", magic_number, num, HEIGHT, WIDTH);
        for (int i = 0; i < num; i++) {
            std::vector<unsigned char> image_data;
            image_data.resize(HEIGHT * WIDTH);
            fs.read(reinterpret_cast<char*>(image_data.data()), HEIGHT * WIDTH);

            cv::Mat image_cv(HEIGHT, WIDTH, CV_8UC1, image_data.data());
            torch::Tensor image_torch = torch::from_blob(image_data.data(), { static_cast<long long>(image_data.size()) }, torch::kUInt8).clone();
            image_torch = image_torch.to(torch::kF32) / 255.;
            images_tensor.push_back(image_torch);
            images.push_back(image_cv.clone()); // 使用 clone() 确保数据独立
        }
        printf("image vector size: %d\n", int(images.size()));
        fs.close();
    }
    else {
        printf("can not open file %s\n", image_path.c_str());
        return;
    }

    fs.open(label_path.c_str(), std::ios::binary);
    if (fs.is_open()) {
        fs.read(reinterpret_cast<char*>(&magic_number), sizeof(magic_number));
        magic_number = _byteswap_ulong(magic_number);
        fs.read(reinterpret_cast<char*>(&num), sizeof(num));
        num = _byteswap_ulong(num);
        printf("magic number: %d, label number: %d\n", magic_number, num);
        labels.resize(num);
        fs.read(reinterpret_cast<char*>(labels.data()), num);
        train_labels = torch::from_blob(labels.data(), { num }, torch::kUInt8).clone();
        fs.close();
    }
    else {
        printf("can not open file %s\n", label_path.c_str());
        return;
    }
}
using namespace torch;

int main()
{
	std::vector<cv::Mat> images_show;
	std::vector<uint8_t> labels_train;
	std::vector<torch::Tensor> image_train;
	torch::Tensor label_train;
	 
	loadMNIST(images_show, image_train, labels_train, label_train, 0);
	torch::Tensor train_data = torch::stack(image_train);
	torch::Tensor train_data_label = label_train;
	torch::Tensor weights = torch::randn({ image_train[0].sizes()[0], 10 }).set_requires_grad(true);
	torch::Tensor bias = torch::randn({ 10 }).set_requires_grad(true);
	double lr = 1e-1;
	int iteration = 10000;
	torch::nn::CrossEntropyLoss criterion;
    torch::optim::SGD optim({weights, bias}, lr);
	for (int i = 0; i < iteration; i++)
	{
		auto predict = torch::matmul(train_data, weights) + bias;
		// std::cout << "predict data size: " << predict.sizes() << ", train_data_label data size: " << train_data_label.sizes() << std::endl;
		auto loss = criterion(predict, train_data_label);

		loss.backward();
        optim.step();
        optim.zero_grad();
        if((i+1) % 500 == 0)
		    printf("[%d /%d, loss: %lf]\n", i + 1, iteration, loss.item<double>());
	}

	loadMNIST(images_show, image_train, labels_train, label_train, 1);

	cv::Mat im_show;
	std::vector<cv::Mat> im_shows;
	for (int i = 0; i < 2; i++)
	{
		cv::Mat im_show_;
		std::vector<cv::Mat> im_shows_;
		for (int j = 0; j < 5; j++)
		{
            int index = torch::randint(0, images_show.size() - 1, {}).item<int>();
			cv::Mat im = images_show[index];
			torch::Tensor im_torch = image_train[index];
			uchar label = labels_train[index];
			auto predict = torch::matmul(im_torch, weights) + bias;
			auto label_predict = torch::argmax(predict.view({ -1 })).item<int>();
			cv::Mat im_resized;
			cv::resize(im, im_resized, cv::Size(16 * im.rows, 16 * im.cols));
			cv::cvtColor(im_resized, im, cv::COLOR_GRAY2RGB);
			cv::putText(im, "groud true: " + std::to_string(static_cast<int>(label)), cv::Point2f(40, 40), cv::FONT_HERSHEY_PLAIN, 3, cv::Scalar(0, 0, 255), 2);
			cv::putText(im, "predict true: " + std::to_string(label_predict), cv::Point2f(40, 90), cv::FONT_HERSHEY_PLAIN, 3, cv::Scalar(0, 255, 0), 2);
			im_shows_.push_back(im);
		}
		cv::hconcat(im_shows_, im_show_);
		im_shows.push_back(im_show_);
	}
	cv::vconcat(im_shows, im_show);
	try {
		/*cv::imshow("result", im_show);
		cv::waitKey(0);*/
        cv::imwrite("validation.png", im_show);
	}
	catch (cv::Exception& e)
	{
		printf("%s\n", e.what());
	}
	return 0;
}

结果

请添加图片描述

白白①
关注
MNIST、Fashion-MNIST、SmallNORB数据集下载与读取
猫ER
12-02 4132
介绍MNIST、Fashion-MNIST、SmallNORB数据集以及其加载方式。
在 pytorch 中加载和使用图像分类数据集 Fashion-MNIST
佚失的诗篇
04-22 3047
本文介绍在 pytorch 中加载和使用图像分类数据集 Fashion-MNIST 的方法
Fashion-MNIST数据集--图像数据集
m0_62865498的博客
05-06 3443
Fashion-MNIST是一个包含了10个类别、每个类别下有7000张28x28像素灰度图像的数据集。这个数据集可以用于图像分类、图像识别等任务。处理这种图像数据集可以采用以下步骤：数据预处理：将数据集中的图像转换为数字矩阵形式，可以使用Python中的NumPy库进行处理。同时可以将像素值归一化到0-1范围内，方便后续处理。特征提取：对于图像数据集，常用的特征提取方法包括灰度共生矩阵、局部二值模式、方向梯度直方图等。这些特征可以帮助我们更好地描述和区分不同的图像类别。
【深度学习系列】——Fashion-MNIST数据集简介
热门推荐
weixin_45666566的博客
08-05 2万+
图像分类数据集（Fashion-MNIST）1、数据集简介2、获取数据集3、查看数据集4、图像可视化显示5、读取小批量数据 1、数据集简介 \quad \quad不同于MNIST手写数据集，Fashion-MNIST数据集包含了10个类别的图像，分别是：t-shirt（T恤），trouser（牛仔裤），pullover（套衫），dress（裙子），coat（外套），sandal（凉鞋），shirt（衬衫），sneaker（运动鞋），bag（包），ankle boot（短靴）。 2、获取数据集 1、torch
深度学习-使用t-SNE对MNIST数据集进行分类
Vivinia的博客
11-08 5683
我们在对数据进行降维时，比较常用的方法有LLE（局部线性嵌入），LE（拉普拉斯映射）还有t-SNE，前两种主要考虑高维中距离相近的点在低维中还要保持距离相近，但是没有考虑高维中距离较远的点在低维是怎样的情况，而t-SNE恰好解决了这个问题，t-SNE的目标是高维中距离相近的点低维中还要相近，高维中距离较远的点，低维中距离要被拉大。 t-SNE将相似度转换为一种概率...
【深度学习】图像分类数据集Fashion-MNIST
wzk4869的博客
11-20 3333
【深度学习】图像分类数据集Fashion-MNIST
神经网络-MNIST数据集训练
2301_77698138的博客
09-17 1834
来源：MNIST数据集由Yann LeCun等人于1994年创建，它是NIST（美国国家标准与技术研究所）数据集的一个子集。内容：数据集主要包含手写数字（0~9）的图片及其对应的标签。用途：作为深度学习和计算机视觉领域的入门级数据集，它适合初学者练习建立模型、训练和预测。class NeuralNetwork(nn.Module): # 通过调用类的形式来使用神经网络，神经网络的模型，nn.moduledef __init__(self): # python基础关于类,self类自己本身。
算法研究---MNIST数据集
putiancaijunyu的专栏
01-07 1727
MNIST简介 MNIST（Mixed National Institute of Standards and Technology database）是一个计算机视觉数据集，它包含70000张手写数字的灰度图片，其中每一张图片包含 28 X 28 个像素点。   每一张图片都有对应的标签，也就是图片对应的数字，例如上面这张图片的标签就是 1。 数据集格式： 60000行的训练数据集是一...
推荐一个数据集——Fashion-MNIST
天泽28的专栏
05-22 1万+
推荐一个数据集——Fashion-MNIST &amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;今天看到女票大人在做project，还在用mnist手写体识别的数据集（链接：http://yann.lecun
解决pytorch的fashion-mnist数据集下载过慢的问题
UPC YR的博客
04-17 2281
1、运行如下命令（如果已经运行过命令即已经存在’/FashionMNIST/raw’目录结构的可直接跳至第2步） import torch import torchvision import torchvision.transforms as transforms train_set = torchvision.datasets.FashionMNIST( root='./data/FashionMNIST', train=True, download=True, tran
Pytorch-CycleGAN-Digits:针对MNIST，USPS，SVHN，MNIST-M和SyntheticDigits数据集的CycleGAN的Pytorch实现
04-07
针对MNIST，USPS，SVHN，MNIST-M和SyntheticDigits数据集的CycleGAN的Pytorch实现。 更改DB变量以更改数据集。 要使用保存的模型生成图像，请将LOAD_MODEL设置为True，将EPOCHS设置为0。 生成的样本 晒黑 太阳海
图像分类数据集（Fashion-MNIST）
04-21
Fashion-MNIST数据集是作为MNIST数据集的替代品而创建的，因为在MNIST数据集被广泛使用后，人们逐渐发现需要更具挑战性的图像数据集来评估新的算法和模型。Fashion-MNIST数据集的成为了一个流行的基准数据集，用于...
fashion-mnist数据集.zip
06-09
与mnist类似的数据集。60000张训练图像和对应Label；10000张测试图像和对应Label；10个类别；每张图像28x28的分辨率。共10大类服装：0 T恤（T-shirt/top）1 裤子（Trouser）2 套头衫（Pullover）3连衣裙（Dress）4...
Fashion-MNIST-dataset-classification:使用tensorflow进行时尚mnist数据集分类
03-18
时尚MNIST数据集分类 1.使用streamlit GUI进行时尚数据集分类，该机器学习强大的库以获取关于streamlit.io的更多信息 单击链接以打开项目 2.读取所需的库文件 3.cnn_model用于抽搐神经网络 4. seq_model用于顺序...
Pytorch-GAN-MNIST-FashionMNIST-USPS:用于MNIST，FashionMNIST和USPS数据集的GAN的Pytorch实现
03-31
Pytorch-GAN-MNIST-FashionMNIST-USPS 针对MNIST，FashionMNIST和USPS数据集的GAN的Pytorch实现。 生成的样本 MNIST #### FashionMNIST！[FashionMNIST]（/ results / FashionMNIST.png）#### USPS！[USPS]（/ ...
C语言 | 第十章 | 函数 作用域
最新发布
ZJC744575的博客
10-05 1238
为完成某一功能的程序指令(语句)的集合,称为函数。在C语言中,函数分为:自定义函数、系统函数(查看C语言函数手册)函数还有其它叫法，比如方法等，在本视频课程中，我们统一称为 函数。返回类型 函数名（形参列表）{执行语句...;// 函数体return 返回值;// 可选形参列表：表示函数的输入函数中的语句：表示为了实现某一功能代码块函数可以有返回值,也可以没有, 如果没有返回值，返回类型 声明为 void。
【C语言系统编程】【第三部分：网络编程】3.2 数据传输和协议
10-03 1560
在进行网络编程时，有时需要设计并实现自定义协议，以满足特定应用的需求。自定义协议设计需要考虑到数据的传输、安全、效率等多方面因素。清晰性：协议应具有清晰的语法和语义，使开发者能快速理解和实现。扩展性：协议应允许未来的功能扩展，而不破坏现有功能。安全性：数据传输过程中应考虑加密和校验，以保证数据不被篡改。高效性：应尽可能减少网络带宽占用，提升数据传输效率。容错性：协议应能处理各种网络异常情况，如数据丢失、重复和延迟。
使用socket编程来实现一个简单的C/S模型（TCP协议）
caiji0169的博客
10-02 1733
下图是基于TCP协议的客户端/服务器程序的一般流程：服务器调用socket()、bind()、listen()完成初始化后，调用accept()阻塞等待，处于监听端口的状态，客户端调用socket()初始化后，调用connect()发出SYN段并阻塞等待服务器应答，服务器应答一个SYN-ACK段，客户端收到后从connect()返回，同时应答一个ACK段，服务器收到后从accept()返回。数据传输的过程：建立连接后，TCP协议提供全双工的通信服务，但是一般的客户端/服务器程序的流程是由客户端主动发起请求，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值