简单粗暴PyTorch之Dataloader与Dataset（数据读取的核心）

最新推荐文章于 2024-01-03 22:33:32 发布
最新推荐文章于 2024-01-03 22:33:32 发布
阅读量851 收藏 3
点赞数 3
分类专栏： 简单粗暴Pytorch学习 文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36642243/article/details/107894568
版权
本文介绍了PyTorch中数据读取的关键组件Dataloader和Dataset。Dataloader用于构建可迭代的数据加载器，涉及参数如batch size、多进程读取和数据乱序。Dataset是数据源抽象类，需自定义并实现getitem()方法来获取单个样本。理解这两个概念对于有效地处理数据集和训练模型至关重要。
摘要由CSDN通过智能技术生成

Dataloader与Dataset


注：来自 深度之眼Pytorch框架班
机器学习模型训练步骤由数据、模型、损失函数、优化器、迭代训练五部分组成。

在这里插入图片描述
数据部分由数据收集、数据划分、数据读取、数据预处理四部分组成。
Dataloader与Dataset是Pytorch数据读取的核心

一、Dataloader

torch.utils.data.DataLoader()

功能：构建可迭代的数据装载器
• dataset: Dataset类，决定数据从哪读取及如何读取
• batchsize : 批大小
• num_works: 是否多进程读取数据
• shuffle: 每个epoch是否乱序
• drop_last：当样本数不能被batchsize整 除时，是否舍弃最后一批数据

在这里插入图片描述

Epoch: 所有训练样本都已输入到模型中，称为一个Epoch
Iteration：一批样本输入到模型中，称之为一个Iteration
Batchsize：批大小，决定一个Epoch有多少个Iteration
样本总数࿱

最低0.47元/天 解锁文章
刘大鸭
关注
专栏目录
【深度学习】textCNN论文与原理——短文本分类(基于pytorch和torchtext)
让算法融入生活，改变生活！
12-27 668
原创公众号(谢谢支持)：AIAS编程有道 前言 之前书写了使用pytorch进行短文本分类，其中的数据处理方式比较简单粗暴。自然语言处理领域包含很多任务，很多的数据向之前那样处理的话未免有点繁琐和耗时。在pytorch中众所周知的数据处理包是处理图片的torchvision，而处理文本的少有提及，快速处理文本数据的包也是有的，那就是torchtext。下面还是结合上一个案例：【深度学习】textCNN论文与原理——短文本分类(基于pytorch)，使用torchtext进行文本数据预处理，然后再使用to.
基于facenet_pytorch实现人脸识别
weixin_43102784的博客
09-09 1234
安装完成后C:\Users\Administrator.cache\torch\checkpoints 路径将会生成。
PyTorch源码解读之torch.utils.data.DataLoader
热门推荐
AI之路
01-14 22万+
PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有点承上启下的
torch 的dataloader 的核心函数
EMIvv的博客
01-14 2194
官方解释：Dataloader 组合了 dataset & sampler，提供在数据上的 iterable 主要参数： 1、dataset：这个dataset一定要是torch.utils.data.Dataset本身或继承自它的类 里面最主要的方法是 getitem(self, index) 用于根据index索引来取数据的 2、batch_size：每个batch批次要返回几条数据 3、shuffle：是否打乱数据，默认False 4、sampler：sample strategy，数据选取策
PyTorch中的Data.DataLoader
lipengfei0427的博客
11-07 6617
DataLoader是PyTorch中读取数据的一个重要接口，基本上用PyTorch训练模型都会用到。这个接口的目的是：将自定义的Dataset根据batch size大小、是否shuffle等选项封装成一个batch size大小的Tensor，后续只需要再包装成Variable即可作为模型输入用于训练。 PyTorch中的数据读取主要包含三个类，其过程主要是以下四步： 1.Dataset 2.DataLoader 3.DataLoaderIter 4.循环DataLoader，进行训练 一、
torch.utils.data.DataLoader()
weixin_36670529的博客
05-16 890
数据加载器，结合了数据集和取样器，并且可以提供多个线程处理数据集。在训练模型时使用到此函数，用来把训练数据分成多个小组，此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。 生成迭代数据非常方便，请看如下示例： """ 批训练，把数据变成一小批一小批数据进行训练。 DataLoader就是用来包装所使用的数据，每次抛出一批数据 """ import t...
data.DataLoader详解
最新发布
Recursions的博客
01-03 889
是 PyTorch 中的一个工具，用于从给定的数据集中加载数据，实现批量化的训练。它是在训练神经网络时常用的一个组件，能够方便地迭代数据集并生成小批量数据。表示在每个 epoch 开始时打乱数据，以增加模型的泛化能力。这种批量加载的方式对于大规模数据集和复杂模型的训练是非常有效的。下面是一个简单的例子，演示如何使用。，你可以逐批次地获取数据用于训练。中的数据按照指定的批量大小 (
简单粗暴PyTorch之transforms详解(一)
qq_36642243的博客
08-09 4万+
transforms详解一、transforms 介绍二、 transforms 运行机制 一、transforms 介绍 transforms在计算机视觉工具包torchvision下： torchvision.transforms : 常用的图像预处理方法 torchvision.datasets : 常用数据集的dataset实现，MNIST，CIFAR-10，ImageNet等 torchvision.model : 常用的模型预训练，AlexNet，VGG， ResNet，GoogLeNet等 t
简单粗暴PyTorch之TensorBoard详解
qq_36642243的博客
08-22 1991
TensorBoard一、TensorBoard介绍二、SummaryWriter学习三、图像可视化四、卷积核与特征图可视化 一、TensorBoard介绍 TensorBoard：TensorFlow中强大的可视化工具 运行机制 在python脚本中记录可视化的数据，就是要监控的数据 import numpy as np from torch.utils.tensorboard import SummaryWriter # SummaryWriter最根本的类，创建一个writer writer =
【Pytorch基础】torch.utils.data.DataLoader方法的使用
sxl的博客
05-15 4万+
  torch.utils.data.DataLoader主要是对数据进行batch的划分，除此之外，特别要注意的是输入进函数的数据一定得是可迭代的。如果是自定的数据集的话可以在定义类中用def__len__、def__getitem__定义。   使用DataLoader的好处是，可以快速的迭代数据。 import torch import torch.utils.data as Data torch.manual_seed(1) # reproducible BATCH_SIZE = 5
torch.utils.data.DataLoader学习
free_luojing的博客
10-26 519
官方文档 torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None, multiprocessing_context=None, generator=None, *, pre
pytorch中的dataset和datalaoder
qq_42806080的博客
01-24 674
1. 使用Dataset数据集 import torchvision 使用方法： # 1. 如何使用dataset标准数据集 train_set = torchvision.datasets.CIFAR10(root="./dataset2", train=True, transform=dataset_transform, download=True) test_set = torchvision.datasets.CIFAR10(root="./dataset2", train=False, tran
【深度学习】torch.utils.data.DataLoader相关用法 | dataloader数据加载器 | pytorch
weixin_46274756的博客
11-19 4872
【深度学习】torch.utils.data.DataLoader相关用法 | dataloader数据加载器 | pytorch
pytorch中data.DataLoader用法
qq_45634934的博客
06-22 9001
pytorch中data.DataLoader的用法
torch.utils.data.DataLoader()官方文档翻译
clhmliu的博客
12-15 343
官方文档翻译
torch.utils.data.DataLoader使用方法
yuekangwei的博客
12-02 1800
""" 批训练，把数据变成一小批一小批数据进行训练。 DataLoader就是用来包装所使用的数据，每次抛出一批数据 """ import torch import torch.utils.data as Data BATCH_SIZE = 5 x = torch.linspace(1, 10, 10) y = torch.linspace(10, 1, 10) # 把数据放在数据库中 torch_dataset = Data.TensorDataset(x, y) loader = D
Dataloader & torch.utils.data.DataLoader全面详实概念理解
kuxingseng123的博客
12-07 699
慢慢的会将数据加载器全部都将其搞定， 或者自己将其搞完整都行啦的回事与打算。
【pytorch】 torch.utils.data.DataLoader用法详解
sazass的博客
05-11 7109
参考： https://pytorch.org/docs/stable/data.html?highlight=torch%20utils%20data%20dataloader#torch.utils.data.DataLoader https://blog.csdn.net/u014380165/article/details/79058479 官方函数定义： class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False,
pytorch中数据读取dataset、dataloader和tensordataset的使用
09-14
在PyTorch中，数据读取是构建深度学习模型的重要一环。为了高效处理大规模数据集，PyTorch提供了三个主要的工具：Dataset、DataLoader和TensorDataset。 Dataset是一个抽象类，用于自定义数据集。我们可以继承...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值