[Pytorch系列-33]：数据集 - torchvision与MNIST数据集

最新推荐文章于 2024-04-29 00:00:02 发布
最新推荐文章于 2024-04-29 00:00:02 发布
阅读量1.1w 收藏 29
点赞数 7
分类专栏： 人工智能-PyTorch 人工智能-深度学习 文章标签： pytorch 深度学习 人工智能 数据集 MNIST
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HiWangWenBing/article/details/121055489
版权

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

 本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121055489

目录

第1章 TorchVision概述

1.1 TorchVision

1.2 TorchVision的安装

1.3 TorchVision官网的数据集

1.4 TorchVision常见的数据集概述

第2章 MNIST数据集

2.1 MNIST数据集介绍

2.2 样本数据与样本标签格式

2.3 MNIST数据的下载与导入

2.4 对样本数据预处理

2.5 批量数据读取与显示

第1章 TorchVision概述

1.1 TorchVision

Pytorch非常有用的工具集：

  • torchtext：处理自然语言
  • torchaudio：处理音频的
  • torchvision：处理图像视频的。

torchvision包含一些常用的数据集、模型、转换函数等等。本文重点放在torchvision的数据集上。

1.2 TorchVision的安装

pip install torchvision

1.3 TorchVision官网的数据集

https://pytorch-cn.readthedocs.io/zh/latest/torchvision/torchvision-datasets/

1.4 TorchVision常见的数据集概述

  • MNIST
  • CIFAR10
  • CIFAR100
  • COCO（用于图像标注和目标检测）(Captioning and Detection)
  • LSUN Classification
  • ImageNet Flower
  • Imagenet-12
  • STL10

第2章 MNIST数据集

2.1 MNIST数据集介绍

MNIST数据集: http://yann.lecun.com/exdb/

 备注 ：可以先把样本数据下载本地，以提升程序调试的效率。最终的产品可以远程下载数据。

  • 每张图片大小：28*28.
  • 单通道的黑白色图片，即(batch_size, channels, Height, Width) =（batch_size, 1, 28, 28）

2.2 样本数据与样本标签格式

2.3 MNIST数据的下载与导入

（1）操作函数MNIST（）的解读

MNIST (root, train=True, transform=None, target_transform=None, download=False)

参数说明：

  • root : 文件存放路的根路径，下载的文件存放在该路径下，processed/training.pt 和 processed/test.pt 的主目录
  • train : True = 训练集, False = 测试集
  • target_transform：导入数据时，是否需要对数据格式进行转换，一个函数，原始图片作为输入，返回一个转换后的图片。有时候神经网络所需要的尺寸与数据集提供的尺寸不一致，则可以通过此方法进行转换。
  • download : True = 从互联网上下载数据集，并把数据集放在root目录下. 如果数据集之前下载过，将处理过的数据（minist.py中有相关函数）放在processed文件夹下。

（2）代码实例

#环境准备
import numpy as np              # numpy数组库
import math                     # 数学运算库
import matplotlib.pyplot as plt # 画图库

import torch             # torch基础库
import torchvision.datasets as dataset  #公开数据集的下载和管理
import torchvision.transforms as transforms  #公开数据集的预处理库,格式转换
import torchvision.utils as utils 
import torch.utils.data as data_utils  #对数据集进行分批加载的工具集

print("Hello World")
print(torch.__version__)
print(torch.cuda.is_available())
Hello World
1.8.0
False

#2-1 准备数据集
train_data = dataset.MNIST(root = "mnist",
                           train = True,
                           transform = transforms.ToTensor(),
                           download = True)

#2-1 准备数据集
test_data = dataset.MNIST(root = "mnist",
                           train = False,
                           transform = transforms.ToTensor(),
                           download = True)

print(train_data)
print("size=", len(train_data))
print("")
print(test_data)
print("size=", len(test_data))
Dataset MNIST
    Number of datapoints: 60000
    Root location: mnist
    Split: Train
    StandardTransform
Transform: ToTensor()
size= 60000

Dataset MNIST
    Number of datapoints: 10000
    Root location: mnist
    Split: Test
    StandardTransform
Transform: ToTensor()
size= 10000

2.4 对样本数据预处理

（1）原图不叠加噪声显示

#原图不叠加噪声
#获取一张图片数据
print("原始图片")
image, label = train_data[0]
print("torch image shape:", image.shape)
print("torch image label:", label)

print("\n单通道原始图片：numpy")
image = image.numpy().transpose(1,2,0) 
print("numpy image shape:", image.shape)
print("numpy image label:", label)

print("\n不叠加噪声, 原图显示")

plt.imshow(image)
plt.show()
原始图片
torch image shape: torch.Size([1, 28, 28])
torch image label: 5

单通道原始图片：numpy
numpy image shape: (28, 28, 1)
numpy image label: 5

不叠加噪声, 原图显示

（2）原图叠加噪声

#原图叠加噪声
#获取一张图片数据
print("原始图片")
image, label = train_data[0]
print("torch image shape:", image.shape)
print("torch image label:", label)

print("\n单通道原始图片：numpy")
image = image.numpy().transpose(1,2,0) 
print("numpy image shape:", image.shape)
print("numpy image label:", label)

print("\n叠加噪声, 平滑显示")
std = [0.5]
mean = [0.5]
image = image * std + mean

plt.imshow(image)
plt.show()
原始图片
torch image shape: torch.Size([1, 28, 28])
torch image label: 5

单通道原始图片：numpy
numpy image shape: (28, 28, 1)
numpy image label: 5

叠加噪声, 平滑显示

 

（3）#叠加噪声，灰度显示图片

#叠加噪声，灰度显示图片
print("原始图片")
image, label = train_data[0]
print("torch image shape:", image.shape)
print("torch image label:", label)

print("\n三通道灰度图片：torch")
image = utils.make_grid(image)
print("torch image shape:", image.shape)
print("torch image label:", label)

print("\n三通道灰度图片：numpy")
image = image.numpy().transpose(1,2,0) 
print("numpy image shape:", image.shape)
print("numpy image label:", label)

print("\n叠加噪声, 平滑显示")
std = [0.5]
mean = [0.5]
image = image * std + mean

plt.imshow(image)
plt.show()
原始图片
torch image shape: torch.Size([1, 28, 28])
torch image label: 5

三通道灰度图片：torch
torch image shape: torch.Size([3, 28, 28])
torch image label: 5

三通道灰度图片：numpy
numpy image shape: (28, 28, 3)
numpy image label: 5

叠加噪声, 平滑显示

（4）#不叠加噪声，黑白显示图片

#不叠加噪声，黑白显示图片
print("原始图片")
image, label = train_data[0]
print("torch image shape:", image.shape)
print("torch image label:", label)

print("\n三通道灰度图片：torch")
image = utils.make_grid(image)
print("torch image shape:", image.shape)
print("torch image label:", label)

print("\n三通道灰度图片：numpy")
image = image.numpy().transpose(1,2,0) 
print("numpy image shape:", image.shape)
print("numpy image label:", label)

print("\n不叠加噪声，黑白显示")
plt.imshow(image)
plt.show()
print("numpy image shape:", image.shape)
原始图片
torch image shape: torch.Size([1, 28, 28])
torch image label: 5

三通道灰度图片：torch
torch image shape: torch.Size([3, 28, 28])
torch image label: 5

三通道灰度图片：numpy
numpy image shape: (28, 28, 3)
numpy image label: 5

不叠加噪声，黑白显示

2.5 批量数据读取与显示

（1）batch批量图片的读取

# 批量数据读取
train_loader = data_utils.DataLoader(dataset = train_data,
                                  batch_size = 64,
                                  shuffle = True)

test_loader = data_utils.DataLoader(dataset = test_data,
                                  batch_size = 64,
                                  shuffle = True)

print(train_loader)
print(test_loader)
print(len(train_loader), len(train_data)/64)
print(len(test_loader),  len(test_data)/64)
<torch.utils.data.dataloader.DataLoader object at 0x000002461EF4A1C0>
<torch.utils.data.dataloader.DataLoader object at 0x000002461ED66610>
938 937.5
157 156.25

（2）一个batch图片的显示

显示一个batch图片
print("获取一个batch组图片")
imgs, labels = next(iter(train_loader))
print(imgs.shape)
print(labels.shape)
print(labels.size()[0])

print("\n合并成一张三通道灰度图片")
images = utils.make_grid(imgs)
print(images.shape)
print(labels.shape)

print("\n转换成imshow格式")
images = images.numpy().transpose(1,2,0) 
print(images.shape)
print(labels.shape)

print("\n显示样本标签")
#打印图片标签
for i in range(64):
    print(labels[i], end=" ")
    i += 1
    #换行
    if i%8 == 0:
        print(end='\n')

print("\n显示图片")
plt.imshow(images)
plt.show()
获取一个batch组图片
torch.Size([64, 1, 28, 28])
torch.Size([64])
64

合并成一张三通道灰度图片
torch.Size([3, 242, 242])
torch.Size([64])

转换成imshow格式
(242, 242, 3)
torch.Size([64])

显示样本标签
tensor(0) tensor(8) tensor(3) tensor(7) tensor(5) tensor(7) tensor(9) tensor(7) 
tensor(1) tensor(1) tensor(1) tensor(8) tensor(8) tensor(6) tensor(0) tensor(1) 
tensor(4) tensor(8) tensor(1) tensor(3) tensor(3) tensor(6) tensor(4) tensor(4) 
tensor(0) tensor(5) tensor(8) tensor(5) tensor(9) tensor(3) tensor(7) tensor(5) 
tensor(2) tensor(1) tensor(0) tensor(6) tensor(8) tensor(8) tensor(9) tensor(6) 
tensor(1) tensor(3) tensor(5) tensor(3) tensor(4) tensor(4) tensor(3) tensor(1) 
tensor(4) tensor(1) tensor(4) tensor(4) tensor(9) tensor(8) tensor(7) tensor(2) 
tensor(3) tensor(1) tensor(2) tensor(0) tensor(8) tensor(1) tensor(1) tensor(4) 

显示图片

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

 本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121055489

文火冰糖的硅基工坊
关注
  • 7
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
用pytorch加载自己的数据集（使用Dataloader替代Torchvision.datasets.MNIST）（附项目源码）
m0_65567747的博客
06-14 2329
当使用dataloader函数切割数据集与标签时，可以以的格式输入。例：将文件夹中的1000张图片输入代码，每张图片尺寸1*28*28，标签以int格式输入。分割批次大小：128经enumerate函数遍历，输出结果：格式：[(索引, [tensor([128个图像数据]), tensor([128个对应标签])]),(索引, [tensor([...
Pytorch手写数字数据集MNIST图像分类，自写全链接模型实现
zwy_697198的博客
04-16 1903
文章目录前言一、MNIST数据集的下载和使用二、认识手写数据集MNIST前十张数据的标签三、MNIST数据集全连接模型训练1.创建模型2.定义损失函数总结 前言 一、MNIST数据集的下载和使用 torchvision内置了常用数据集和最常见的模型 我们通过torchvision导入MNIST数据集 如果之前没有，则此处会联网进行下载 示例代码如下： import matplotlib.pyplot as plt import numpy as np import torch.nn as nn imp
PyTorch入门学习（五）：torchvision中dataset的使用（以CIFAR10和MNIST为例）_torchvision
最新发布
2401_84447112的博客
04-29 343
篇幅有限没有列举更多的前端面试题，小编把整理的前端大厂面试题PDF分享出来，一共有269页。# 添加图像数据到TensorBoard，使用不同的命名空间标识不同的迭代步骤。# 遍历测试数据加载器。
pytorch:实现简单的GAN示例(MNIST数据集)
12-23
我就废话不多说了，直接上代码吧！ # -*- coding: utf-8 -*- """ Created on Sat Oct 13 10:22:45 2018 @author: www """ import torch from torch import nn from torch.autograd import Variable import torchvision.transforms as tfs from torch.utils.data import DataLoader, sampler from torchvision.datasets import MNIST import
python进阶教程：pytorch 把MNIST数据集转换成图片和txt的方法
12-21
本文介绍了pytorch 把MNIST数据集转换成图片和txt的方法，分享给大家，具体如下： 1.下载Mnist 数据集 import os # third-party library import torch import torch.nn as nn from torch.autograd import Variable import torch.utils.data as Data import torchvision import matplotlib.pyplot as plt # torch.manual_seed(1) # reproducible DOWNLOAD_MNIST
pytorch优化改进
03-14
PyTorch优化改进指的是在使用PyTorch进行深度学习模型训练时，通过一系列技巧、方法和策略对模型训练过程中的性能、速度和效果进行优化和改进的操作。这些优化改进可以帮助提高模型的准确性、收敛速度、泛化能力以及节约资源使用。以下是一些常见的PyTorch优化改进的概念： 1. **批量处理**： - 使用更大的批量大小可以加快模型的训练速度，利用GPU等加速硬件的并行计算能力，同时也有助于模型收敛性和参数更新的稳定性。 2. **学习率调整策略**： - 采用合适的学习率调整策略（如学习率衰减、学习率预热等）可以提高模型的收敛速度和性能，在训练过程中动态地调整学习率。 3. **正则化技术**： - 添加正则化项（如L1正则化、L2正则化）防止模型过拟合，提高模型的泛化能力，减少模型在训练集上的误差。 4. **剪枝和量化**： - 模型剪枝和量化可以优化模型结构和参数，减小模型大小，提高模型在移动设备等资源受限环境下的性能和速度。 5. **数据增强**： - 数据增强技术通过对训练数据进行变化和扩充（如旋转、翻转、裁剪、缩放等）.....
mnist数据集
09-07
MNIST数据集介绍：MNIST是一个手写数字数据库，它有60000个训练样本集和10000个测试样本集。它是NIST数据库的一个子集。
torchvision.datasets.MNIST 的数据结构
程序猿视角
05-23 954
对于 MNIST 数据集中的每一个图像， torchvision.datasets.MNIST 返回一个由两个元素组成的元组。第一个元素是 PIL.Image.Image 对象类型的图像，表示该图像的像素矩阵。而第二个元素则是一个整数，表示该图像所代表的数字。MNIST 数据集包含了大量的手写数字图像，每个图像都是 28 x 28 像素大小的灰度图像。通过这些代码，我们可以看到 MNIST 数据集中的每个样本都是一个尺寸为(1, 28, 28)的张量，其中 1 表示普通的灰度图像。
Torchvision中datasets.MNIST设计方法分析
码农1479的博客
03-27 3750
本文分析了torchvision中MNIST数据集的设计思路，学习如何设计自己的数据集模块。
torchvision的数据集
qq_42202395的博客
07-13 204
torchvision数据集
pytorch-image-classification:有关如何使用PyTorch和TorchVision实现一些用于图像分类的关键体系结构的教程
05-09
PyTorch图像分类 此包含使用 1.7， 0.8， 3.3和 0.24以及Python 3.8进行图像分类的教程。 我们将从实现多层感知器（MLP）开始，然后再使用卷积神经网络（CNN）进入架构。 具体来说，我们将实现 ， ， 和 。 如果您发现任何错误或不同意任何解释，请随时。 我欢迎任何反馈，无论是正面还是负面的！ 入门 要安装PyTorch，请参阅上的安装说明。 安装PyTorch的说明还应详细说明如何安装torchvision，但也可以通过以下方式安装： pip install torchvision 讲解 1- 本教程介绍了PyTorch和TorchVision。 我们将学习如何：加载数据集，扩充数据，定义多层感知器（MLP），训练模型，查看模型的输出，可视化模型的表示以及查看模型的权重。 实验将在MNIST数据集-一组28x28手写灰度数字上进行。 2-
谷歌Gemmal系列的PyTorch实现
04-19
谷歌Gemmal系列的PyTorch实现，这是一款新的AI语言模型系列。与谷歌的Gemini模型相似。与Gemini不同的是，Gemma模型可以在个人电脑上本地运行，为用户提供了更灵活的使用方式。
Federated-Learning-PyTorch:实施基于分散数据的深度网络通信高效学习
05-06
联合学习（PyTorch） 香草联合学习论文的实施：。 在MNIST，Fashion MNIST和CIFAR10（IID和非IID）上进行了实验。 在非IID的情况下，用户之间的数据可以相等或不相等地分割。 由于这些实验的目的是说明联合学习范例的有效性，因此仅使用诸如MLP和CNN的简单模型。 要求 从requirments.txt安装所有软件包 Python3 火炬 火炬视觉 数据 手动下载训练和测试数据集，否则它们将自动从Torchvision数据集下载。 实验在Mnist，Fashion Mnist和Cifar上进行。 要使用自己的数据集，请执行以下操作：将数据集移动到数据目录，并在pytorch数据集类上编写包装器。 运行实验 基线实验以常规方式训练模型。 要使用CPU在MLP上对MNIST运行基线实验，请执行以下操作： python src/baseline_ma
MNIST官方数据集，torchvision加载亲测可用
07-23
torchvision.datasets.MNIST中，download=True有时网络会出错 下载后，直接解压，将download=False，root='你的MNIST的位置'即可本地加载MNIST
Pytorch入门系列.zip
02-17
pytorch
MNIST数据集
09-14
MNIST数据集是一个入门级的计算机视觉数据集，数据集中都是美国中学生手写的数字，其中训练集包括6万张图片，测试集包括1万张图片，并且数字已经进行过预处理和格式化。
torchvision
08-18
torchvision是一个用于构建计算机视觉模型的图形库，它是PyTorch深度学习框架的一部分。torchvision包含了几个重要的模块，包括加载数据的函数和常用的数据集接口（torchvision.datasets）、常用的模型结构（torchvision.models，包含了许多预训练模型，如AlexNet、VGG、ResNet等）、常用的图片变换方法（torchvision.transforms，如裁剪、旋转等）以及其他有用的方法（torchvision.utils）。torchvision通常与PyTorch一起安装，安装命令如下：pip install torchvision。安装时建议使用清华镜像以提高下载速度：pip install torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple/。可以通过导入torch和torchvision模块来验证安装是否成功：import torch，import torchvision。如果没有报错，则表示安装成功。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [torchvision详细介绍](https://blog.csdn.net/frighting_ing/article/details/121863387)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [torchvision-0.9.0](https://download.csdn.net/download/weixin_45235219/87401907)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [pytorch和torchvision安装](https://blog.csdn.net/u013230291/article/details/108487877)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文火冰糖的硅基工坊

你的鼓励是我前进的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值