Pytorch学习-dataset

最新推荐文章于 2024-08-02 23:48:48 发布
最新推荐文章于 2024-08-02 23:48:48 发布
阅读量69 收藏
点赞数
文章标签： pytorch 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48139224/article/details/132155115
版权

参考视频：【PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】】 https://www.bilibili.com/video/BV1hE411t7RN/?share_source=copy_web&vd_source=94395bc3053afb19a3884017d26e997f

一、dataset类的解释

运行jupyter

首先，输入:

from torch.utils.data import Dataset

意思是：从torch这个“大工具箱里”的“常用工具区”中的关于数据的data区import Dataset

（jupyter中使用“shift+回车”运行当前块）

其次，使用以下两种方法查看“Dataset”的官方文档如何解释

 二、代码实战

数据集图片 在控制台的查看和使用

将数据集放到项目里面

复制图片路径查看：

 获取图片列表

 创建“art”数据集

再创建一个“house”数据集

 取第一个数据

 合并数据集

小李小李无与伦比
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch中的Dataset、Dataloader和_DataloaderIter
gdymind的博客
08-30 1万+
Dataset Pytorch中数据集被抽象为一个抽象类torch.utils.data.Dataset，所有的数据集都应该继承这个类，并override以下两项： - __len__：代表样本数量。len(obj)等价于obj.__len__()。 - __getitem__：返回一条数据或一个样本。obj[index]等价于obj.__getitem__。建议将节奏的图片等高负载的操作放...
使用Pytorch中的Dataset类构建数据集的方法及其底层逻辑
计算机与数学领域的学习、分享、交流。
03-23 1万+
我们在用Pytorch开发项目的时候，常常将项目代码分为数据处理模块、模型构建模块与训练控制模块。数据处理模块的主要任务是构建数据集。为方便深度学习项目构建数据集，Pytorch为我们提供了Dataset类。那么，假如现在已经有训练数据和标签，该怎么用Dataset类构建一个符合Pytorch规范的数据集呢？在刚开始学的时候，或许我们会上网找一些代码来参考。不过，有时我们找到的代码可能与自己的数据格式不一样，以至于在模仿着写的时候，不确定自己写的代码对不对。本人起初也有这样的体会，为此，本文就来说说我的领悟
Pytorch学习（三）定义自己的数据集及加载训练
sinat_42239797的博客
06-06 12万+
对于如何定义自己的Datasets我讲从以下几个方面进行解说 1.什么是Datasets？ 2.为什么要定义Datasets？ 3.如何定义Datasets？ 什么是Datasets？ 为什么要定义Datasets？ Pytorch中有工具函数torch.utils.Data.DataLoader，通过这个函数我们在准备加载数据集使用mini-batch的时候可以使用多线程并行处理，这样可以加快我...
PyTorch中的Dataset
玄云飘风的博客
12-25 7282
注：本文源码基于PyTorch1.0，目前在PyTorch0.4下没有发现错误。 PyTorch中的Dataset是一个抽象类，我们可以通过继承Dataset来将数据集的源文件、规模和其他非必要的功能打包，从而供DataLoader使用。在这一过程中，须重载的函数包括： __init__()：构造函数，略过不说。 __getitem__()：_DataLoaderIter()类中有调用： # ...
Pytorch自定义加载数据--自定义Dataset
xuan_liu123的博客
09-22 4万+
Pytorch自定义Dataset1. 自定义加载数据1.1. 第一种 Dataset class1.2. 第二种 torchvision 1. 自定义加载数据 在学习Pytorch的教程时，加载数据许多时候都是直接调用torchvision.datasets里面集成的数据集，直接在线下载，然后使用torch.utils.data.DataLoader进行加载。 那么，我们怎么使用我们自己的数据集...
Pytorch---Pytorch进行自定义Dataset
qq_44961869的博客
06-21 1839
Pytorch进行自定义Dataset
Pytorch学习-利用Dataset类定义自己的数据集
张飞飞的博客
05-14 185
定义自己的数据集类需要继承torch.utils.data中的Dataset类。主要实现两个方法，即__len__和__getitem__以具体的例子进行演示。
Pytorch（五）入门：DataLoader 和 Dataset
热门推荐
嘿芝麻的树洞
09-22 29万+
DataLoader 和 Dataset 构建模型的基本方法，我们了解了。 接下来，我们就要弄明白怎么对数据进行预处理，然后加载数据，我们以前手动加载数据的方式，在数据量小的时候，并没有太大问题，但是到了大数据量，我们需要使用 shuffle, 分割成mini-batch 等操作的时候，我们可以使用PyTorch的API快速地完成这些操作。 Dataset是一个包装类，用来将数据包装为Datas...
Pytorch之Dataset（数据类）、DataLoader（方法）
zhanly19的博客
08-20 8788
** 很多东西如果学过去，可能真的学过去了，当你需要用的时候，可能你不记得你学过；但是你面对不懂的知识，突然发现你学过，这样可能效果更好。不是为了学习而学习** 一、 Pytorch提供了读取数据和对数据进行预处理的方法和类（可以简单地理解常用的方法和类）： 1.torch.utils.data.Dataset提供的类：Dataset，它是一个抽象类，那么继承和重写这个类就可以定义自己的数据类，只...
pytorch的dataset用法详解
EMIvv的博客
01-15 8501
torch.utils.data 里面的dataset使用方法 当我们继承了一个 Dataset类之后，我们需要重写 len 方法，该方法提供了dataset的大小； getitem 方法， 该方法支持从 0 到 len(self)的索引 from torch.utils.data import Dataset, DataLoader import torch class MyDataset(Dataset): """ 下载数据、初始化数据，都可以在这里完成 """
第TR3周：Pytorch复现Transformer
lihuhelihu的博客
08-02 698
Transformer可以看作是seq2seq模型的一种，因此，先从seq2seq的角度对Transformer进行宏观结构的学习。下图1先便是Transformer整体结构图，与seq2seq模型类似，Transformer模型结构中的左半部分为编码器，右半部分为解码器，下面我们来一步步拆解Transformer。在某种程度上，可以将Transformer看作是Seq2Seq的一种演变，Transformer可以执行Seq2Seq任务，并且相对于传统的Seq2Seq模型具有更好的性能和可扩展性。
Pytorch代码：打印模型每层的参数数量和总参数量
Never Give Up
07-30 286
【代码】Pytorch代码：打印模型每层的参数数量和总参数量。
transformer代码学习及pytorch函数学习
m0_56487684的博客
07-30 901
pad(tuple)：是指明对该tensor各方位扩充的元素个数（这个元组中的每个数字对应于输入张量的一个维度的填充大小），（pad_left, pad_right, pad_top, pad_bottom, ...）（tips：从内到外表示tensor）tensor([[a,b]],[[c,d]]) 和 tensor([[a,b],[c,d]],[[e,f],[g,h]])形状为(2,1,2)和(2,2,2)的张量当torch.cat()函数中dim = 1时,拼接。在张量的某维度下增加一个额外的维度。
深入学习生成对抗网络 (GAN) — 基于 PyTorch 的实现与优化
2302_80396926的博客
08-02 476
本文介绍了以mnist为例子的生成对抗网络的基本套路
在利用 Python 编码和 PyTorch 深度学习框架训练神经网络和实验评估时，如何控制所有可能的随机性？
叶庭云 成为自己的光
08-02 322
在利用 Python 编码和 PyTorch 深度学习框架训练神经网络和实验评估时，如何控制所有可能的随机性？
分析为什么在 PyTorch 中，训练好深度神经网络后要使用 model.eval()
叶庭云 成为自己的光
08-02 235
分析为什么在 PyTorch 中，训练好深度神经网络后要使用 model.eval()
pytorch: cpu,cuda,tensorRt 推理对比学习
vily_luky的博客
08-02 523
pytorch: cpu,cuda,tensorRt 推理对比 和 bug
跑深度学习模型Ⅱ：一文安装正确pytorch及dgl
qq_46147236的博客
08-02 228
啊每次都是pytorch版本问题引发的一系列错误！nvcc --version 可以看到我的cuda版本是11.8nvidia-smi 查看NVIDIA驱动版本，可以看到我的驱动版本是522.06方法二： 去NVIDIA控制面板，查看本机GPU支持的CUDA版本具体操作：NVADIA的控制面板>帮助>系统信息>组件,可以看到我的版本是CUDA11,选择对应的版本。我的GPU支持11.8的CUDA版本在Pytorch官网中，根据自己的CUDA版本选择，复制安装命令。
PyTorch 训练自定义功能齐全的神经网络模型的详细教程
最新发布
老牛啊
08-02 665
PyTorch 是一个开源的机器学习框架，可以方便地进行神经网络模型训练和推理。本文基于 PyTorch 演示了一个非常简单但是功能齐全的神经网络训练过程，无论模型权重有多大，使用 TyTorch 训练的过程是类似的，期望本文能启到抛砖引玉的作用……
pytorch 遍歷dataset
08-26
在Pytorch中遍历dataset可以使用torch.utils.data.DataLoader这个类。在初始化DataLoader时，一般常用的参数有dataset、batch_size、shuffle和num_workers等。其中dataset就是我们构建的自定义dataset类。在使用时，可以直接使用for循环来遍历dataloader对象，并且可以通过迭代器的方式输出每个batch的数据。具体实现如下： ```python import torch from torch.utils.data import DataLoader # 创建自定义的dataset对象 dataset = MyDataset() # 创建dataloader对象，并指定batch_size和是否进行数据打乱 dataloader = DataLoader(dataset, batch_size=32, shuffle=True) # 遍历dataloader对象 for batch_data in dataloader: # 处理每个batch的数据 inputs, labels = batch_data # 进行模型的训练或预测等操作 ... ``` 在遍历dataloader时，实际上是从dataset中取出数据，只是在取数据的规则上进行了一些修改，比如可以进行数据的打乱操作。因此，在遍历dataloader时，会调用自己定义的dataset类中的__getitem__()方法来获取数据。通过这种方式，我们可以方便地对数据进行mini-batch的训练。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [使用Pytorch中的Dataset类构建数据集的方法及其底层逻辑](https://blog.csdn.net/rowevine/article/details/123631144)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [对pytorch中的dataset和dataloader的一些理解](https://blog.csdn.net/weixin_45700881/article/details/128351086)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值