系统学习Pytorch笔记三：Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)

已于 2022-05-15 17:12:42 修改
阅读量6.9w 收藏 2.2k
点赞数 757
分类专栏： Pytorch学习笔记 文章标签： Pytorch 数据读取DataLoader 图像预处理模块 transforms
于 2020-04-17 09:36:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuzhongqiang/article/details/105499476
版权
本文介绍了Pytorch的数据读取机制，包括DataLoader和Dataset的使用，以及图像预处理模块transforms的原理。DataLoader负责根据batch_size将数据分批读取，Dataset定义了数据的读取方式。transforms则包含多种图像预处理方法，如标准化、旋转、翻转等，用于图像增强和模型训练前的数据准备。文中通过人民币二分类任务举例，详细展示了DataLoader和transforms的实际应用。
摘要由CSDN通过智能技术生成

Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html?
Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/

1. 写在前面

疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实， 对Pytorch的使用依然是模模糊糊， 跟着人家的代码用Pytorch玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来， 我觉得我这种情况就不是对于某个程序练得不熟了，而是对Pytorch本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。 这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会Pytorch， 并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先

了解本专栏 订阅专栏 解锁全文 超级会员免费看
pytorch数据读取Dataloader与Dataset
01-06
数据 数据收集–>img，label 数据划分–>train，valid，test（详细见：https://blog.csdn.net/wyyyyyyfff/article/details/104381429） 数据读取–>dataloader–>sampler（index生成索引，样本序号），dataset（根据索引读取img，label） 数据预处理–>transforms DataLoader DataLoader是Pytorch中用来处理模型输入数据的一个工具类。通过使用DataLoader，我们可以方便地对数据进行相关操作，比如我们可以很方便地设置batch_size，对于每一个ep
pytorch数据操作---dataset，dataloader，transform
热门推荐
xys430381_1的专栏
11-03 1万+
基本概述 pytorch输入数据PipeLine一般遵循一个“三步走”的策略，一般pytorch 的数据加载到模型的操作顺序是这样的： ① 创建一个 Dataset 对象。必须实现__len__()、getitem()这两个方法，这里面会用到transform对数据集进行扩充。 ② 创建一个 DataLoader 对象。它是对DataSet对象进行迭代的，一般不需要事先里面的其他方法了。 ③ 循环...
PyTorch可以用来干嘛?
最新发布
Keep_Calm_的博客
07-24 1162
PyTorch 是一个广泛使用的开源机器学习库，由 Facebook AI Research（FAIR）开发。它主要用于计算机视觉和自然语言处理等深度学习领域，但也可以应用于许多其他类型的机器学习任务。PyTorch 提供了丰富的功能和灵活的设计，使得构建和训练神经网络变得相对简单。以下是 PyTorch 的一些主要用途
【代码笔记】Pytorch学习 DataLoader模块详解
Small__明的博客
04-07 2472
这里会把参数全部列出，这里列出的目的是让大家知道各个参数的意义。实际上很多是用不到的，我用加粗字体表示一些常用的参数。__next__方法会调用_next_data，_next_data获取一个batch的数据。dataloader主要有6个class构成（可见下图）
Pytorch数据读取接口-torch.utils.data.DataLoader
yuki_lulu的博客
09-28 664
该接口是pytorch中数据读取的接口，定义在dataloader.py的脚本中，只要使用pytorch来训练模型都会使用到这个接口。 DataLoader接口主要用来将自定义的数据读取接口的输入或者Pytorch已有的数据读取接口的输入按照batch size封装成Tensor,后续再包装为Varaiable. 1. DataLoader类 class DataLoader(object): """ Data loader. Combines a dataset and a sampler, a
Pytorch：数据读取机制（DataLoader与Dataset）
weixin_47255403的博客
12-04 2409
自定义类"""rmb面额分类任务的Dataset:param data_dir: str, 数据集所在路径:param transform: torch.transform，数据预处理"""self.data_info = self.get_img_info(data_dir) # data_info存储所有图片路径和标签，在DataLoader中通过index读取样本img = self.transform(img) # 在这里做transform，转为tensor等等# 遍历类别。
Pytorch | 学习笔记（三）
yatingliu的博客
08-31 1021
Pytorch搭建CIFAR10分类网络
DataLoder的使用————Transforms
weixin_45947476的博客
10-14 736
哔哩大学的PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】 的P15讲讲述了dataloder的下载使用。 dataloder作用
04.DataLoader与Dataset；transforms与normalize
老毛的博客
10-21 2747
文章目录人民币二分类DataLoader与DatasetDataLoaderDatasetPyTorch数据读取机制transforms 运行机制transformstorchvision.transforms：常用的图像预处理方法数据标准化—transforms.normalize 本课程来自深度之眼deepshare.net，部分截图来自课程视频。 人民币二分类 人民币看做自变量x，类别看做...
pytorch-datase、dataloader、tensorboard和transform
weixin_43318393的博客
10-01 1077
pytorch中dataset代码介绍，tensorboard的使用，transform工具的使用，torchvision数据集的使用，dataloader的使用
PyTorch 入坑六 数据处理模块Dataloader、Dataset、Transforms
鲁点点的博客
09-20 1112
深度学习中的数据处理概述 深度学习三要素：数据、算力和算法 在工程实践中，数据的重要性越来越引起人们的关注。在数据科学界流传着一种说法，“数据决定了模型的上限，算法决定了模型的下限”，因此在这个“说法”中，明确的表明了，只有好的数据才能够有好的模型，数据才是决定了模型的关键因素。 数据很重要 简单来说，就是找到好的数据，拿给模型“吃”。 但是怎么找到“好”的数据，什么样才算是“好”的数据，给模型吃了后模型性能有没有变化等等问题是一个非常庞大的课题，本文并不深入探讨，首先从特征工程的角度抛出一张图，另外总结一
数据驱动智能：在PyTorch中掌握数据加载与预处理
07-19
### 数据驱动智能：在 PyTorch 中掌握数据加载与预处理 #### 1. 数据的重要性 在深度学习领域，数据是构建智能系统的核心资源。高质量的数据不仅能够显著提升模型的性能，还能加速训练过程。因此，对数据进行有效...
系统学习Pytorch笔记八：Tensorboard可视化与Hook机制
Miracle8070
04-27 3418
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
pytorch学习笔记6-数据读取机制Dataloader与Dataset
zbr794866300的博客
12-25 1379
人民币二分类 实现人民币二分类，以1元和100元的为例，输入一张人民币到模型，将其分类到0或者1 机器学习训练步骤： 数据-模型-损失函数-优化器-迭代训练 数据： 1.数据收集：图像和标签 2.数据划分：分为训练集（训练模型）、验证集（验证模型是否过拟合，简而言之用验证集来挑选模型）、测试集（测试挑选出来模型的性能） 3.数据读取：Dataloader（pytorch数据读取的核心就是Dataloader） Dataloader:Sampler（生成索引，也就是样本的序号...
PyTorch学习(一)：Dataset && DataLoader
芒果干的博客
12-22 269
Dataset && DataLoader 前言：为了易读以及适应python的模块化编程，PyTorch提供了两个加载数据的原型，分别为：torch.utils.data.Dataset以及torch.utils.data.DataLoader，其中Dataset存储了数据集的样本已经相应的标签，DataLoader将其进一步进行包装成为一个迭代器使得我们可以更容易的从中获取训练样本 PyTorch库中已经封装大量的数据集（例如FashionMNIST），可以从下面两个链接中找到使用方
pytorch02：数据读取DataLoader与Dataset、数据预处理transform
慕溪同学的博客
12-27 1602
数据读取DataLoader与Dataset、数据预处理transform
Pytorch中的数据转换Transforms与DataLoader
Jeremy_lf的博客
04-29 5315
DataLoader DataLoader是一个比较重要的类，它为我们提供的常用操作有：batch_size(每个batch的大小), shuffle(是否进行shuffle操作), num_workers(加载数据的时候使用几个子进程) import torch as t import torch.nn as nn import torch.nn.functional as F import torch ''' 初始化网络 初始化Loss函数 & 优化器 进入step循环： 　　梯度清零 　　向
pytorch系列教程(二)-数据预处理Dataset、DataLoader、Transform
huihui__huihui的博客
07-06 2876
前言 pytorch对于怎么样把数据放进神经网络训练有一套非常成熟的机制，我们只需要按照流程即可，这个流程只要是涉及了Dataset、DataLoader和Transform 这篇博客参考了： （第一篇）pytorch数据预处理三剑客之——Dataset，DataLoader，Transform （第二篇）pytorch数据预处理三剑客之——Dataset，DataLoader，Transform （第三篇）pytorch数据预处理三剑客之——Dataset，DataLoader，Transform   
pytorch 图像预处理数据归一化
10-03
在PyTorch中，图像数据的归一化可以通过使用torchvision.transforms.Normalize()函数来实现。该函数需要传入三个参数，分别是均值(mean)、标准差(std)、以及一个布尔值，用来指示是否将图像像素值剪裁到0和1之间。 具体的步骤如下： 1. 首先，根据数据集计算图像的均值和标准差。可以使用torchvision.datasets.ImageFolder()函数加载数据集，并使用torch.utils.data.DataLoader()函数生成一个数据加载器。 2. 接下来，使用torchvision.transforms.Compose()函数将多个图像预处理操作组合起来。常见的预处理操作包括图像尺寸调整、裁剪、翻转、旋转等。 3. 在组合的图像预处理操作中，添加torchvision.transforms.ToTensor()函数，将图像转换为张量形式。 4. 最后，添加torchvision.transforms.Normalize()函数，传入计算得到的均值和标准差作为参数，并设置布尔值为True，以剪裁图像像素值到0和1之间。 参考代码如下所示： ``` import torchvision.transforms as transforms # 计算数据集的均值和标准差 dataset = torchvision.datasets.ImageFolder(root='dataset_path', transform=transforms.ToTensor()) data_loader = torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=True) mean = 0.0 std = 0.0 for images, _ in data_loader: batch_mean = torch.mean(images, dim=(0, 2, 3)) batch_std = torch.std(images, dim=(0, 2, 3)) mean += batch_mean std += batch_std mean /= len(data_loader) std /= len(data_loader) # 图像预处理操作 preprocess = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean, std) ]) # 使用预处理操作对图像进行归一化处理 normalized_image = preprocess(image) ```
评论 113
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值