pytorch中加载数据时常用的def __len__(self):和def __getitem__(self, index)

已于 2022-06-07 13:28:34 修改
阅读量1.3k 收藏 3
点赞数
分类专栏： 读研之路 文章标签： pytorch python 人工智能
于 2022-06-06 20:16:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44745159/article/details/125153288
版权

研究了一天，总算有点眉目，先上代码

    def __len__(self):
        return len(self.ques)  # 返回dataset的长度

    def __getitem__(self, index):
        questions = self.ques[index]
        skill = self.skill[index]
        answers = self.ans[index]
        onehot = self.onehot(questions, skill, answers) # 后续编码，不管他
        return onehot

我的理解是，假如你的dataset处理完后是[n,50]，50是步长

__getitem__做的事情就是返回第index个样本的具体数据:
return dataset[index]
而这个index是随机返回一个属于[0,n-1]的数
__len__作用是得到长度n

蚌埠先森
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
pytorch_read_the_dataloder
12-15
3. **数据预处理（Preprocessing）**：你可以通过传递预处理函数到`DataLoader`，在加载数据时进行转换，如归一化、裁剪、随机旋转等，这些操作有助于模型学习。 4. **多线程（Multithreading）**：默认情况下，`...
pytorch_course:PyTorch基础课程
04-13
在实际项目中，数据通常需要通过`torch.utils.data.Dataset`和`DataLoader`进行加载和预处理。`Dataset`类用于封装数据，`DataLoader`则负责批量加载和并行处理数据。 ```python from torch.utils.data import ...
pytorch学习路程
2301_81533581的博客
01-31 520
本文为pytorch学习而作（2024.1.28）
pytorch基础【2】__getitem__，__len__
最新发布
wahahaha116的博客
06-17 1149
在 Python 中， 是一个特殊方法，用于定义对象的索引访问行为。它使得对象可以使用方括号 进行索引操作，类似于列表、元组和字典等内置容器类型。以下是一个简单的示例，展示了如何在自定义类中实现 方法： 详细解释 类定义: 初始化方法: 方法接受一个参数 ，并将其存储在实例的 属性中。 方法: 方法接受一个参数 ，并返回 中对应索引位置的值。这样，当你使用 时，会调用这个方法。以下是一个更复杂的示例，展示了如何使用 方法来实现一个自定义的字典类，该类可以使用键访问值： 详细解释
pytorch 中 __getitem__ ()和DataLoader
刚子的博客
01-08 1万+
在构建DataLoader时，需要传入参数dataset，这里可以是自己自定义数据集类，比如上图myDataset 在DataLoader 送入torch中进行训练时，会自动调用数据集类的__getitem__()方法 class myDataset(Dataset): def __init__(self, csv_file, txt_file, root_dir, other_file): self.csv_data = pd.read_csv(csv_fi...
pytorch __getitem__ 返回值
_茂茂的博客
06-08 5227
在pytorch中若是使用自定义数据集,需要定义Dataset类,并覆盖父类的__len__和__getitem__函数 举个例子,返回常规的数据对x, y 也可以是多个x,y 比如小样本学习中需要query support对就是两个x,两个y class MyDataset(Dataset): ''' 定义相关数据 ''' def __len__(self): return len(self.x_data) def __getitem__(self, idx):
Python Pytorch之Dataset __getitem__参数理解
weixin_43868406的博客
07-30 2401
pytorch dataset 类内部函数参数的理解
Pytorch中Dataset的__getitem__()返回值应该怎么写
qq_43391414的博客
10-09 2636
确实，功能上是等价的，但是有的时候，当你返回的东西特别多并且各部分功能不一样的时候，上面分组就会很方便。并且，我们dataloader返回的结果，也将会是分组的，非常之方便。，那么dataloader返回的结果也会是嵌套的，反正不会乱掉。经过这次，确实更加了解了dataloader的强大的组织为批的能力。我以前还实现过collate_fn，现在看来，无法处理多组以及嵌套的情况，今天发现，原来可以返回多组，太自由了。甚至：还可以更加复杂的，例如嵌套，后来发现，原来一组不一定是由。组成，可以是任意的，例如。
pytorch中__getitem__的顺序问题
qq_35576225的博客
10-09 914
def __getitem__(self,idx): idx的范围是从0到len-1（__len__的返回值） 但是如果采用了dataloader进行迭代，num_workers大于一的话，因为是多线程，所以运行速度不一样，这个时候如果在__getitem__函，数里输出idx的话，就是乱序的。但是实际上当线程数设置为1还是顺序的。 即使线程数大于1，如果返回idx，并且在dataloader迭代后的过程中输出结果的话，还是顺序的，也就是说，多线程可能速度不一样，但是最终的结果要保证和单线程的一致 ..
【学习笔记】pytorch数据读取__getitem__的顺序问题
zzzpy的博客
03-22 9410
往往形式上是： def __getitem__(self,idx): idx的范围是从0到len-1（__len__的返回值） 但是如果采用了dataloader进行迭代，num_workers大于一的话，因为是多线程，所以运行速度不一样，这个时候如果在__getitem__函，数里输出idx的话，就是乱序的。但是实际上当线程数设置为1还是顺序的。 即使线程数大于1，如果返回idx，并...
Pytorch中如何理解RNN LSTM GRU的input（重点理解seq_len / time_steps）
yyhhlancelot的博客
01-15 8500
在建立时序模型时，若使用keras，我们在Input的时候就会在shape内设置好sequence_length(后面简称seq_len)，接着便可以在自定义的data_generator内进行个性化的使用。这个值同时也就是time_steps，它代表了RNN内部的cell的数量，有点懵的朋友可以再去看看RNN的相关内容：个人总结：从RNN（内含BPTT以及梯度消失/爆炸）到 LSTM（内含GRU...
Pytorch 数据加载与数据预处理方式
09-18
在PyTorch中，数据加载和预处理是机器学习模型训练的关键步骤，它确保了高效且正确地处理大量数据。本文将深入探讨PyTorch中数据加载的机制以及如何进行数据预处理。 首先，PyTorch提供了一个名为`torchvision....
mnist_train.rar
03-26
首先，我们需要将这些文本数据转换为张量，然后定义一个DataLoader，它可以批量地加载和处理数据。PyTorch提供了一些内置的工具，如`torch.utils.data.Dataset`和`torch.utils.data.DataLoader`，帮助我们实现这一...
image_iterator
03-01
在处理大量图像数据时，迭代器能提供一种内存友好的方式，因为它们不需要一次性加载所有数据到内存中。这尤其适用于资源有限的环境，如训练大型神经网络模型时。 标题"image_iterator"暗示我们讨论的是一个用于处理...
超图（HyperGraph）学习，看这一篇就够了
热门推荐
且视他人之疑目如盏盏鬼火,大胆地去走你的夜路
05-30 2万+
最近事多，好久没更新了，随便写写（Ctrl+V）点 一、超图定义 通常图论中的图，一条edge只能连接2个vertex，在超图中，不限量 如何理解呢，就用我正在做的KT问题来看：7道题目-7个顶点；4种概念-4条超边，其中第1,2,3题都是考察概念1的，则构建一个包含了这仨的超边，以此类推。。。总的来说，超图的建立是基于超边的建立，而超边的建立则是基于我们对节点之间关系的先验条件来实现的。 二、超图学习 1.表示 G=(V,E)是我们很熟悉的图的符号表示，这也同样适用于超图，我们可以用|V|*|E| .
win10家庭版修改Users用户名
且视他人之疑目如盏盏鬼火,大胆地去走你的夜路
03-13 3487
之前刚买电脑时太兴奋，脑子一热就起了个中二的中文名字，导致现在由于用户目录有中文，很多系统级的程序偶尔会报错。再加上今天上午被实验室的众师姐嘲笑，所以在网上找了半天教程。结果发现都是专业版的。。。最后好说歹说算是解决了，希望之后别给爷出啥问题 首先强调，此攻略只针对家庭版！！！ PS：建议使用虚拟机操作一波先，没问题再进行真机测试（虽然我是直接真机造的） Step1: 按住键盘的[win+R]，输入regedit，确定 Step2: 依次展开HKEY_LOCAL_MACHINE\SOFTWARE\Mi.
Deep Knowledge Tracing (深度知识追踪)
且视他人之疑目如盏盏鬼火,大胆地去走你的夜路
03-15 2793
boss又让我看这块的内容了，刚开学，还不太适应实验室的学习生活，假期闲散惯了操。 1、概述 知识追踪（knowledge tracing）是根据学生过去的答题情况对学生的知识掌握情况进行建模，以便我们能精确预测学生对于知识点的掌握程度，以及学生在下一次的表现。而且精确的知识追踪能让我们抓住学生当前的需求，并进行精准推题，即难易适宜。 早期的知识追踪模型都是依赖于一阶马尔科夫模型，例如贝叶斯知识追踪（Bayesian Knowledge Tracing，BKT）。在本文中引入灵活的循环神经网络（RNN）.
pytorch中的__getitem__
11-25
`__getitem__`是Python中的一个特殊方法，用于获取对象中指定索引或键对应的值。在PyTorch中，`__getitem__`方法被用于数据集类中，用于获取指定索引的数据样本。具体来说，当我们使用PyTorch中的`DataLoader`加载数据时，`DataLoader`会调用数据集类中的`__getitem__`方法来获取指定索引的数据样本。下面是一个简单的例子： ```python class MyDataset(Dataset): def __init__(self, data): self.data = data def __getitem__(self, index): return self.data[index] def __len__(self): return len(self.data) data = [1, 2, 3, 4, 5] dataset = MyDataset(data) dataloader = DataLoader(dataset, batch_size=2, shuffle=True) for batch in dataloader: print(batch) ``` 在上面的例子中，我们定义了一个`MyDataset`类，其中`__getitem__`方法返回指定索引的数据样本。然后我们创建了一个数据集对象`dataset`，并将其传递给`DataLoader`中。`DataLoader`会自动调用`dataset`中的`__getitem__`方法来获取数据样本。最后我们遍历`DataLoader`，每次输出两个数据样本。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值