pytorch学习笔记（五）——torchvision.datasets数据集的使用

最新推荐文章于 2024-07-23 14:52:41 发布
最新推荐文章于 2024-07-23 14:52:41 发布
阅读量1.9k 收藏 2
点赞数 1
分类专栏： pytorch 文章标签： pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NA_imu/article/details/124445457
版权
本文介绍了torchvision库在PyTorch中的作用，特别关注其在计算机视觉任务中的数据集处理，如CIFAR10。通过示例展示了如何下载、解压并应用数据转换，同时利用tensorboard展示数据集样本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. torchvision

torchvision是pytorch工程的一部分，主要用于视觉方面的一个包，包括流行的数据集、模型架构和用于计算机视觉的常见图像转换torchvision.transforms
torchvision官网页面（从pytorch官网docs点开）

2. torchvision.datasets常见的数据集

在这里插入图片描述

3. 数据集的使用——以CIFAR10为例

import torchvision

# CIFAR10数据集包括60000张32×32的彩色图片，属于10个类型
from torch.utils.tensorboard import SummaryWriter

dataset_transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor()
])

# 下载CIFAR10数据集的压缩文件及解压，存储到./dataset路径（分别下训练数据集和测试数据集），并且对数据集中的所有图片做transform转换
train_set = torchvision.datasets.CIFAR10(root="./datasets", train=True, transform=dataset_transform, download=True)
test_set = torchvision.datasets.CIFAR10(root="./datasets", train=False, transform=dataset_transform, download=True)

# 测试输出一下数据集信息
# print(test_set.classes)
# print(test_set[0])
# img, target = test_set[0]
# print(img)
# print(target)
# print(test_set.classes[target])
# img.show()

# 放在tensorboard里展示一下
writer = SummaryWriter("p10")
for i in range(10):
    img, target = test_set[i]
    writer.add_image("test_set", img, i)
writer.close()

官网可以查到用法
在这里插入图片描述

PyTorch学习笔记（四）——torchvision工具箱
⚡
05-07 996
目录一、torchvision简介二、torchvision.transforms2.1 `Image` 、`Tensor` 与 `ndarray` 之间的相互转化2.1.1 ToTensor()2.1.2 PILToTensor()2.1.3 ToPILImage()2.2 常见的图像操作2.2.1 TF.adjust_brightness()2.2.2 TF.adjust_contrast()2.2.3 TF.adjust_saturation()2.2.4 TF.adjust_sharpness()2
pytorch学习笔记10——卷积神经网络详解及mnist数据集多分类任务应用
qq_50749521的博客
07-15 1205
卷积神经网络详解及mnist数据集多分类任务应用
【学习笔记】【Pytorch】四、torchvision.datasets模块的使用
qq_45772756的博客
01-11 3814
一、**torchvision**模块说明 **介绍**：主要处理图像数据，包含一些常用的数据集、模型、转换函数等。 二、**datasets**模块介绍 **介绍**：一些加载数据的函数及常用的数据集接口。 三、**datasets.CIFAR10**类的使用 **作用**：CIFAR-10数据集的加载和数据处理。
Pytorch——torchvision.datasets
talkAC的博客
12-10 3182
torchvision 是PyTorch中专门用来处理图像的库，这个包中有四个大类。 torchvision.datasets torchvision.models torchvision.transforms torchvision.utils torchvision.datasets 是用来进行数据加载的，PyTorch团队在这个包中提前处理好了很多很多图片数据集。 MNIST COCO（用于图像标注和目标检测）(Captioning and Detection) LSUN Classif
PyTorch 1.0 中文文档：torchvision.datasets
weixin_30336061的博客
03-07 290
译者：BXuan694 所有的数据集都是torch.utils.data.Dataset的子类， 即：它们实现了__getitem__和__len__方法。因此，它们都可以传递给torch.utils.data.DataLoader，进而通过torch.multiprocessing实现批数据的并行化加载。例如： imagenet_data = torchvision.datasets.Ima...
torchvision学习之torchvision.datasets
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
07-27 1万+
torchvision包 包含了目前流行的数据集，模型结构和常用的图片转换工具 torchvision.datasets torchvision.datasets中包含了以下数据集 MNIST COCO（用于图像标注和目标检测）(Captioning and Detection) LSUN Classification ImageFolder Imagenet-12 CIFAR10 and CIFAR100 STL10 Datasets拥有以下API: __getitem____le..
Pytorch学习：常见数据集torchvision.datasets—CIFAR10、Fashion-MNIST和ImageNet，以及数据集的使用DataLoader
qq_38473254的博客
08-24 2411
训练批次包含随机顺序的剩余图像，但是一些训练批次可能包含来自一个类的图像多于来自另一个类的图像。该数据集涵盖1000个对象类，包含1，281，167张训练图像，50，000张验证图像和100，000张测试图像。Fashion-MNIST 是Zalando文章图像的数据集-由60，000个示例的训练集和10，000个示例的测试集组成。CIFAR-10数据集由10个类别的60000张32 x32彩色图像组成，每个类别6000张图像。模块中提供了许多内置的数据集，以及用于构建自己的数据集的实用程序类。
Pytorch学习笔记——Torchvision数据集使用
weixin_50765519的博客
05-04 2216
Torchvision是Pytorch中一个开源的机器学习框架，专门为计算机视觉任务设计和优化。它提供了多种功能来支持计算机视觉项目的开发和实验。matplotlib。
Pytorch学习笔记——在GPU上进行训练
weixin_50765519的博客
07-23 2323
Conv2d(3, 32, 5, padding=2), # 第一次卷积MaxPool2d(2), # 第一次最大池化Conv2d(32, 32, 5, padding=2), # 第二次卷积MaxPool2d(2), # 第二次最大池化Conv2d(32, 64, 5, padding=2), # 第三次卷积MaxPool2d(2), # 第三次最大池化Flatten(), # 展平层Linear(1024, 64), # 第一个全连接层Linear(64, 10), # 第二个全连接层。
Pytorch学习笔记——正则化
weixin_50765519的博客
07-20 899
优化器正则化在深度学习中扮演着重要角色，可以有效防止模型过拟合。L2正则化是最常用的方法，通过在损失函数中添加权重参数平方和的惩罚项，使权重参数保持较小值。L1正则化则通过惩罚权重参数的绝对值和，实现特征选择。选择合适的正则化方法和正则化系数，可以显著提升模型的性能。
torchvision学习——datasets、models(加载数据、调用模型)
Chaoy6565的博客
11-25 3413
最近在学习pytorch，总结一下。pytorch包含了torchvision.datasets、torchvision.models、torchvision.transforms、torchvision.utils四部分。
PyTorch深度学习入门笔记（六）torchvision 中的数据集使用
一名FPGA芯片设计爱好者的技术博客
01-16 1361
课程学习笔记，课程链接 学习笔记同步发布在我的个人网站上，欢迎来访查看。 文章目录一、torchvision二、CIFAR数据集2.1 下载数据集2.2 数据集的使用2.3 transforms的使用2.3 其他数据集的使用 目的： 如何把数据集和 Transforms结合在一起 介绍科研中使用的一些标准数据集和下载、查看、使用方法 一、torchvision pytorch官网：https://pytorch.org/ 点进 torchvision: torchvision 文档列出了很多科研或者
PyTorch 笔记（20）— torchvision 的 datasets、transforms 数据预览和加载、模型搭建（torch.nn.Conv2d/MaxPool2d/Dropout）
热门推荐
wohu1104的专栏
08-07 1万+
计算机视觉是深度学习中最重要的一类应用，为了方便研究者使用，PyTorch 团队专门开发了一个视觉工具包torchvision，这个包独立于 PyTorch，需通过 pip instal torchvision 安装。 torchvision 主要包含三部分： models：提供深度学习中各种经典网络的网络结构以及预训练好的模型，包括 AlexNet 、VGG 系列、ResNet 系列、Inception 系列等； datasets： 提供常用的数据集加载，设计上都是继承 torch.utils.data
torchvision工具包之torchvision.datasets以及torch.utils.DataLoader的使用
bb8886的博客
06-01 2776
torchvision工具包之torchvision.datasets以及torch.utils.DataLoader的使用
Pytorch：torchvision.datasets
weixin_40522801的博客
05-07 1505
中文文档：https://ptorch.com/docs/8/torch-torchvision torchvision包括了目前流行的数据集，模型结构和常用的图片转换工具，是PyTorch中专门用来处理图像的库。这个包中有四个大类： torchvision.datasets torchvision.models torchvision.transforms torchvision.u...
【torchvision】 torchvision.datasets.ImageFolder
weixin_37804469的博客
08-15 329
torchvision.datasets.ImageFolder
PyTorch | torchvision.datasets/models/transforms
W1995S的博客
02-03 538
文章目录前言一、torchvision.datssets二、torchvision.models三、torchvision.transforms 前言 torchvision是Pytorch的计算机视觉工具库，是Pytorch专门用于处理图像的库。主要由3个子包组成，分别是：torchvision.datasets、torchvision.models、torchvision.transforms。即目前流行的数据集，模型结构和常用的图片转换工具。 一、torchvision.datssets 包含很多常
torch_vision(三):数据集模块 torchvision.datasets
tony365的博客
10-19 1021
因此包含__getitem__ 和 __len__等方法，也可以传递给 torch.utils.data.DataLoader 方便多线程采样数据。
torchvision.datasets 的使用(附代码)
一路平安，别困在这十万大山！
11-21 5048
一.torchvision.datasets是什么?作用? 很明显,datasets是torchvision工具集中的一个工具 初步理解其是调用官方数据集的一种方式,其中存在很多已经开源的数据集,供我们学习使用. 二.使用方法 已知CIFAR10是datasets可以调用的关于图像的数据集.我们可以尝试使用,并利用tensorboard进行可视化 第一步: 引用torchvision模块,和tensorboardX import torchvision from tensorboardX impo
pytorch土堆
最新发布
04-03
### 关于 PyTorch 中与“土堆”相关的实现 在 PyTorch 的学习资源中，“小土堆”的教程是一个非常受欢迎的教学系列，尤其是在 B 站上发布的《PyTorch 学习笔记》[^1]。该系列涵盖了从基础到高级的各种主题，适合初学者快速入门并深入理解 PyTorch。 #### 一、核心概念解析 1. **数据预处理** 使用 `transforms.ToTensor()` 可以轻松地将 PIL 图像或 NumPy 数组转换为 PyTorch 能够处理的张量类型。这是构建深度学习模型的第一步，通常用于加载和准备训练数据集。 2. **自定义模型结构** 继承 `nn.Module` 是构建神经网络的核心方法之一[^2]。通过这种方式，开发者能够灵活设计自己的模型架构，并利用框架内置的功能完成参数管理和其他操作。 3. **环境配置技巧** 如果您使用 Anaconda 创建新的 Python 环境，则可以通过命令行激活目标环境后运行特定包安装指令来设置 Jupyter Notebook 支持[^3]。例如： ```bash conda activate your_env_name conda install nb_conda ``` 4. **CUDA 功能检测** 利用 `torch.cuda.is_available()` 函数可以判断当前设备是否支持 GPU 加速计算[^4]。此函数返回布尔值 True 或 False 表明硬件兼容情况以及驱动程序状态正常与否。 #### 二、实际案例演示——手写数字识别 MNIST 数据集分类器 以下是基于上述理论知识编写的一个简单示例代码片段： ```python import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader import torch.nn as nn import torch.optim as optim # 定义超参数 batch_size = 64 learning_rate = 0.01 epochs = 5 # 数据变换规则 transform = transforms.Compose([ transforms.ToTensor(), # 将图片转成 Tensor 并缩放到 [0,1] 区间 ]) # 下载 MNIST 数据集 train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True) test_dataset = datasets.MNIST(root='./data', train=False, transform=transform) # 构建 Data Loader train_loader = DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True) test_loader = DataLoader(dataset=test_dataset, batch_size=batch_size, shuffle=False) # 自定义 CNN 模型 class SimpleCNN(nn.Module): # 继承 nn.Module 基类 def __init__(self): super(SimpleCNN, self).__init__() self.conv_layer = nn.Sequential( nn.Conv2d(1, 10, kernel_size=5), nn.MaxPool2d(2), nn.ReLU(), nn.Conv2d(10, 20, kernel_size=5), nn.Dropout2d(), nn.MaxPool2d(2), nn.ReLU() ) self.fc_layer = nn.Linear(320, 10) # 输出层有十个类别 def forward(self, x): out = self.conv_layer(x) out = out.view(-1, 320) # 展平 tensor out = self.fc_layer(out) return out model = SimpleCNN() if torch.cuda.is_available(): # 若存在可用 CUDA 设备则迁移至 GPU 上执行运算 model = model.cuda() criterion = nn.CrossEntropyLoss() # 设置损失函数 optimizer = optim.SGD(model.parameters(), lr=learning_rate) # 配置优化算法 for epoch in range(epochs): total_loss = 0 correct_predictions = 0 for data, target in train_loader: if torch.cuda.is_available(): data, target = data.cuda(), target.cuda() optimizer.zero_grad() # 清零梯度缓存 output = model(data) # 正向传播过程 loss = criterion(output, target) # 计算误差 loss.backward() # 执行反向传播更新权重 optimizer.step() # 应用梯度下降调整参数 _, predicted = torch.max(output, dim=1) total_loss += loss.item()*data.size(0) correct_predictions += (predicted == target).sum().item() avg_loss = total_loss / len(train_loader.dataset) accuracy = correct_predictions / len(train_loader.dataset)*100. print(f'Epoch {epoch+1}/{epochs}, Loss: {avg_loss:.4f}, Accuracy: {accuracy:.2f}%') print('Training completed.') ``` 以上脚本展示了如何运用 PyTorch 来解决经典的图像分类问题，其中涉及到了多个重要组件的应用场景。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值