pytorch自定义Dataset心得

最新推荐文章于 2024-05-14 12:28:19 发布
最新推荐文章于 2024-05-14 12:28:19 发布
阅读量1.6k 收藏 1
点赞数 2
分类专栏： Pytorch 个人经验 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39502099/article/details/123678899
版权

自己写自定义Dataset类的时候参考了 PyTorch中文文档

Dataset规定所有的子类都必须包含有两个方法__len__和__getitem__

  • __len__ 提供了数据集的大小
  • __getitem__ 支持整数索引，范围从0到len(self)-1

以下是自己的一点小心得：

  1. __len__返回的可以是整个长度，也可以不是，只要你__getitem__能够解析item参数即可
  2. __getitem__需要传入一个item参数，作为索引，并返回相应的数据tansor，我看了有些Dataset基类是只返回一个样本的tansor的，并没有返回label的tansor
  3. 在DataLoader中定义了Dataset，Dataloader会给Dataset一个索引，也就是item，item的索引范围是0到__len__-1，并不是0到__len__
  4. 如果数据集存放方式比较复杂，需要注意对item的解析

以上就是我自己写Dataset的一点小心得
纯深度学习小白，高手勿喷

Astrophily
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch模型有多个返回值libtorch的处理
juluwangriyue的博客
08-09 473
pytorch 模型有多个返回值 libtorch处理 在python中函数可以有多个返回值，而c++中只允许一个（或者没有）返回值，使用libtorch处理pytorch模型需要对这一点进行处理 1.首先对python中模型进行更改 return F.sigmoid(d0), F.sigmoid(d1), F.sigmoid(d2), F.sigmoid(d3), F.sigmoid(d4), F.sigmoid(d5), F.sigmoid(d6) 需要改为list形式 return [F.sigmo
pytorch_自定义Dataset类.docx
06-23
pytorch中自定义Dataset 类代码，docx文档，可直接粘贴到python环境中，内附联系方式
豆酱踩坑（二）——pytorch Dataset中的__len__()函数
qq_44965314的博客
03-11 7292
之前一直不知道__len__()函数的作用，直到昨天在加载数据集的时候发现数据被“吞了”。。。 原来6360张图片，加载后就剩30多张了，用debug也没发现哪里有问题。 随手一翻程序，发现__len__()函数写错了，原本应该是list的长度，不小心写成了list的地址。。 def __len__(self): return len(self.image_list) 所以__len__()的...
Pytorch学习-利用Dataset类定义自己的数据集
最新发布
张飞飞的博客
05-14 179
定义自己的数据集类需要继承torch.utils.data中的Dataset类。主要实现两个方法，即__len__和__getitem__以具体的例子进行演示。
深度学习&PyTorch 之 DNN-回归（多变量）
Andy_shenzl的博客
01-11 701
DNN回归多变量
pytorch中dataSet里的__getitem__()可以返回numpy类型，
会飞的猪的博客
12-09 4429
pytorch中dataSet里的__getitem__()可以返回numpy类型，自动转为torch.tensor
pytorch的dataset用法详解
EMIvv的博客
01-15 8473
torch.utils.data 里面的dataset使用方法 当我们继承了一个 Dataset类之后，我们需要重写 len 方法，该方法提供了dataset的大小； getitem 方法， 该方法支持从 0 到 len(self)的索引 from torch.utils.data import Dataset, DataLoader import torch class MyDataset(Dataset): """ 下载数据、初始化数据，都可以在这里完成 """
pytorch 自定义数据集加载方法
12-26
pytorch 官网给出的例子中都是使用了已经定义好的特殊数据集接口来加载数据，而且其使用的数据都是官方给出的数据。如果我们有自己收集的数据集，如何用来训练网络呢？此时需要我们自己定义好数据处理接口。幸运的是...
pytorch 自定义参数不更新方式
01-20
nn.Module中定义参数：不需要加cuda，可以求导，反向传播 class BiFPN(nn.Module): def __init__(self, fpn_sizes): self.w1 = nn.Parameter(torch.rand(1)) print(no-----------------------------------------...
pytorch 自定义卷积核进行卷积操作方式
09-18
今天小编就为大家分享一篇pytorch 自定义卷积核进行卷积操作方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch重写Dataset
baibaipo的博客
09-02 740
pytorch重写Dataset 对于这个类的重写，需要修改三个魔法方法，分别是__init__,__getitem__,__len__ __init__： 构造函数，接收路径和标签，然后整理成两个列表，以便于在__getitem__中进行索引提取。 __len__： 直接返回样本个数即可。 __getitem__: 这个函数的作用是收取一个索引，然后返回对应的文件路径和标签值。这个路径和标签值已经在__init__中定义好了。 不过有的模型比较复杂，需要返回多个元素，这时候可以使用字典，return一个字
PyTorch系列 | 自定义dataset（torch.utils.data.Dataset与torchvision.datasets.ImageFolder）
weixin_48249563的博客
03-05 3027
是
浅谈Dataset类中的__getitem__和 __len__方法
weixin_42206075的博客
03-03 5690
浅谈Dataset类中的__getitem__和 __len__方法 torch.utils.data.Dataset是PyTorch中用来表示数据集的抽象类，Dataset是一个包装类，用来将数据包装为Dataset类，然后传入DataLoader中从而使DataLoader类更加快捷的对数据进行操作。当处理自定义的数据集的时候必须继承Dataset,然后重写 len（）和__getitem__（）函数。 1）len（）: 使得len(dataset)返回数据集的大小； 2）getitem（）：使得支持d
pytorch dataset实战----读取数据集
番茄炒蛋三分糖
10-20 1176
这段代码可以作为读取数据集的一个DataSet类的基础类，可以扩充进行修改，以后有类似需要可以拿过来修改。 代码中涉及到torch.transforms、合并路径等知识点，我在代码中都进行了详细的注释，路径要对照着项目结构，如果自己用的话要根据项目结构去将相对路径改过来。
pytorch __getitem__ 返回值
_茂茂的博客
06-08 5214
在pytorch中若是使用自定义数据集,需要定义Dataset类,并覆盖父类的__len__和__getitem__函数 举个例子,返回常规的数据对x, y 也可以是多个x,y 比如小样本学习中需要query support对就是两个x,两个y class MyDataset(Dataset): ''' 定义相关数据 ''' def __len__(self): return len(self.x_data) def __getitem__(self, idx):
Pytorch Dataset入门
gy77
04-16 413
PyTorch中的Dataset是一个抽象类，用来表示数据集的接口，所有其他数据集都需要继承这个类。
Pytorch Dataset类的使用（个人学习笔记）
weixin_46355597的博客
03-03 6322
dataset类个人学习笔记
《Pytorch学习指南》- Dataset和Dataloader用法详解
兀坐晴窗独饮茶
10-27 4130
目录前言DataSetDataLoader数据构建1. 创建Dataset 类 :sparkles:2. 读取数据 :ambulance:3. 返回数据 :zap:读取数据 :art:注意细节 :rocket:对比实验 前言 ???? 本章节主要介绍如何使用torch.utils.data 中的Dataset和Dataloader来构建数据集, 重点要看使用细节 DataSet torch.utils.data.Dataset 功能 : Dataset抽象;类, 所有自定义的Dataset都需要继
pytorch学习15：DataSet和DataLoader
HMT的博客
08-26 675
pytorch在torch.utils.data 对常用数据加载进行了封装，可用很容易实现数据读取和批量加载。 DataSet DataSet 是 pytorch 提供的用于包装数据的抽象类。可以通过继承并实现其中的抽象方法来自定义DataSet。 自定义DataSet要继承并实现两个成员方法： __getitem__(self, idx) ：该方法需要实现通过索引获得一条数据。 __len__(self) ：该方法需要返回数据集的长度。 DataLoader DataLoader提供了对DataSet
请叫我如何使用pytorch自定义dataset
04-23
1. 首先，您需要创建一个自定义数据集类，该类必须继承自 PyTorch 的 Dataset 类。在这个类中，您需要实现两个方法：__len__ 和 __getitem__。 ```python from torch.utils.data import Dataset class ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值