Torchvision中数据集的使用

最新推荐文章于 2024-08-23 13:20:18 发布
最新推荐文章于 2024-08-23 13:20:18 发布
阅读量48 收藏
点赞数
文章标签： pytorch transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48139224/article/details/132202407
版权

（1）根据官方文档提供CIFAR10数据集进行下载：

使用命令下载成功：

PS:当数据集较大的时候，可以先下载到电脑上，然后在项目中新建文件夹“dataset”，让数据集放进去也可以。

测试数据集第一个数据的输出：

 其中，结果中的“3”是一个tag。在print处打一个断点，进行debug可以看出

（2）与transforms进行联动

转为Totensor类型，查看数据集的第一个数据的输出：

 使用tensorboard显示：

 结果：

 

 

小李小李无与伦比
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
torchvision中数据集的使用
apple_53439775的博客
02-21 884
在pytorch官网（torchvision — Torchvision 0.11.0 documentation (pytorch.org)）中可以很清楚的看到提供的数据集以及详细的说明，现成的数据集使用起来也很方便。 以CIFAR为例 import torchvision train_set = torchvision.datasets.CIFAR10(root="./dataset",train=True,download=True) test_set = torchvision.datase
学习笔记4：torchvision中数据集的使用
weixin_51092297的博客
02-15 809
一、头文件 import torchvision from torch.utils.tensorboard import SummaryWriter 二、训练集和数据集的设置 dataset_transform=torchvision.transforms.Compose( [torchvision.transforms.ToTensor()] ) train_set=torchvision.datasets.CIFAR10(root="./dataset_2",transform=datase
torchvision中的数据集使用
weixin_51002159的博客
09-10 280
torchvision中的数据集使用
p14 torchvision中数据集的使用
weixin_43445667的博客
03-06 419
执行这个print(test_set[0])，看到输出是(<PIL.Image.Image image mode=RGB size=32x32 at 0x23A2762B4D0>, 3)，第一部分是输入图片，3代表tagert。知道test_set[]是什么以后，可以这么写，让img=test_set[0], target=teat_set[1]修改一下，将其变为totensor，应用到每一张图片中，都变成tensor的数据类型。train：若true，为训练集，若false，为测试集。
torchvision中CIFAR10数据集
06-27
torchvision中CIFAR10数据集，实测完全可用
pytorch入门教程，涵盖数据加载，tensorboard使用，数据类型转换，torchvision中数据集的使用等等
03-11
torchvision 中数据集的使用 - **常用数据集**： - `torchvision.datasets.ImageFolder`：适用于图像分类问题，自动从目录结构中加载数据。 - `torchvision.datasets.MNIST`、`torchvision.datasets.CIFAR10`等...
pytorch练手数据集
01-19
通过理解数据集的结构，使用`DataLoader`加载数据，定义和训练自定义的`nn.Module`，以及监控验证集性能，你可以逐步掌握PyTorch的核心概念和流程。无论你是初学者还是资深开发者，这都是提升PyTorch技能的理想资源...
MNIST官方数据集，torchvision加载亲测可用
07-23
torchvision.datasets.MNIST中，download=True有时网络会出错 下载后，直接解压，将download=False，root='你的MNIST的位置'即可本地加载MNIST
Stanford Cars Dataset 斯坦福汽车数据集-数据集
03-17
这些汽车数据集包含用于组建模型的出色培训和测试集，可以相互区分汽车。 Stanford Cars Dataset_datasets.txt Stanford Cars Dataset01_datasets.zip Stanford Cars Dataset02_datasets.zip Stanford Cars ...
Pytorch cat()与stack()函数详解
bbaaa123的博客
08-20 368
pytorch cat()与stack()函数详解
PyTorch——transforms
m0_73991249的博客
08-19 1009
首先transform是来自PyTorch的一个扩展库——【torchvision】，【torchvision】这个库提供了许多计算机视觉相关的工具和功能，能够在神经网络中，将图像、数据集、预处理模型等等数据转化成计算机训练学习所能用的格式的数据。比如：：提供了常用的图像预处理方法，用于对图像进行变换、缩放、裁剪、旋转、翻转等操作。例如，ToTensor将PIL图像或numpy数组转换为Tensor，Normalize对图像进行标准化处理，RandomCrop随机裁剪图像等。；
创建张量、张量的操作
qq_58739767的博客
08-19 1141
c = torch.transpose(x,0,1) #两个维度的转换，原本是一个三行四列的转换成四列三行的。# x = torch.randn(3,4) #将正太分布中大于等于0.5的张良跳出来。# a =torch.randint(3, 10, (2, 2)) #整数均匀分布。# a =torch.randperm(4)#生成从0到n-1的随机排列。# torch.manual_seed(7) 随机创建7个种子数。# a = torch.randn(2,3) #标准正太分布。# # # 布局相同。
Pytorch升级之旅——基础概念
qq_53589322的博客
08-20 1186
学习链接：深入浅出PyTorch — 深入浅出PyTorch (datawhalechina.github.io)①1956-1966 人工智能元年 达特茅斯会议②20世纪80年代 统计学思想引入 提出BP神经网络③1993年以后 2006年深度学习 2016年AIphaGO围棋深度学习（DL）、机器学习（ML）和人工智能（AI）之间的关系可以用层级结构来理解：人工智能（AI）：AI是一个广泛的领域，旨在开发能够模拟人类智能的计算机系统。它包括许多子领域，如机器学习、计算机视觉、自然语言处理等。AI的目标
PyTorch构建模型网络结构的6种方式
最新发布
wwimhere的博客
08-23 684
PyTorch提供了多种方式来构建模型的网络结构，我尝试总结一下，有如下6种常见方式（可能还有我没注意到的，欢迎补充）。我们平时写代码并不一定需要掌握全部方式，但是多了解一些，对于阅读理解别人的代码显然是有帮助的。
Python(PyTorch)物理变化可微分神经算法
跨学科知识视角展现
08-20 839
:dart:使用受控物理变换序列实现可训练分层物理计算 | :dart:多模机械振荡、非线性电子振荡器和光学二次谐波生成神经算法验证 | :dart:训练输入数据，物理系统变换产生输出和可微分数字模型估计损失的梯度 | :dart:多模振荡对输入数据进行可控卷积 | :dart:物理神经算法数学表示、可微分数学模型 | :dart:MNIST和元音数据集评估算法
pytorch实现模型搭建
qq_58739767的博客
08-20 855
和TensorFlow不同，pytorch需要在定义时就将需要梯度下降的参数传入，也就是其中的self.parameters()，表示当前模型的所有参数。不用担心定义优化器和模型参数的顺序问题，因为self.parameters()的输出并不是模型参数的实例，而是整个模型参数对象的指针，所以即使你在定义优化器之后又定义了一个层，它依然能优化到。当然优化器你也可以在外部定义，传入model.parameters()也可。这里定义了一个随机梯度下降。
PyTorch升级之旅——安装与基本知识
qq_53589322的博客
08-20 993
它的基本思想是将数据集划分为多个子集，并将每个子集分配给不同的计算设备（如多个 GPU），然后在每个设备上执行相同的模型，并行计算这些子集的结果，最后汇总这些结果。模型的不同部分可以放在不同的 GPU 或其他设备上运行，这样能够减小单个设备的内存负担，并充分利用多设备的计算能力。并行计算在 PyTorch 中应用广泛，从数据并行、模型并行到分布式训练，不同的并行策略可以有效利用计算资源，提升模型训练和推理的效率。PyTorch 提供了。在这个例子中，模型的不同层被分布在不同的 GPU 上进行计算。
Pytorch中tensor与ndarray类型转换及标量转换
bbaaa123的博客
08-20 478
pytorch中tensor与ndarray类型转换及标量转换详解
如何使用torchvision加载数据集？
02-24
使用torchvision加载数据集可以分为以下几个步骤： 1. 导入必要的库： ```python import torchvision import torchvision.transforms as transforms ``` 2. 定义数据集的转换操作： ```python transform = transforms.Compose([ transforms.ToTensor(), # 将图像转换为Tensor transforms.Normalize((0.5,), (0.5,)) # 标准化图像 ]) ``` 3. 加载训练集和测试集： ```python trainset = torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transform) testset = torchvision.datasets.MNIST(root='./data', train=False, download=True, transform=transform) ``` 其中，`root`参数指定数据集的存储路径，`train`参数指定是否加载训练集，`download`参数指定是否自动下载数据集，`transform`参数指定对数据集进行的转换操作。 4. 创建数据加载器： ```python trainloader = torch.utils.data.DataLoader(trainset, batch_size=32, shuffle=True) testloader = torch.utils.data.DataLoader(testset, batch_size=32, shuffle=False) ``` 其中，`batch_size`参数指定每个批次的样本数量，`shuffle`参数指定是否在每个epoch之前对数据进行洗牌。 现在你可以使用`trainloader`和`testloader`来迭代访问训练集和测试集中的样本了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值