pytorch中的Dataset和Dataloder

本文介绍了PyTorch中的Dataset和DataLoader类在数据加载过程中的作用。Dataset类需要实现初始化数据、根据索引获取数据以及返回数据长度的方法。DataLoader则接收Dataset实例,设置批大小和数据打乱选项,方便迭代获取数据。
摘要由CSDN通过智能技术生成

这是pytorch中用于加载数据的两个类,在torch.utils.data包下

首先继承Dataset类,实现三个方法:__init__(),__getitem__(),__len__()。init方法中初始化数据,getitem方法中根据指定的index找到数据,len方法返回数据的长度。

之后我们new一个Dataloder类,传入我们new的Dataset对象,指定每次需要取得数据的batch_size,shuffle即数据是否要打乱。new完这个对象之后,就可以遍历获得数据。

import pandas as pd
import torch
from torch.utils.data import Dataset, DataLoader
from torch.utils.data.dataset import T_co

# 将实体和关系映射到id上,方便处理
entity_id=pd.read_csv('./data/entity2id.csv')
entity_to_id={
   entity_id.iloc[i]['name']:entity_id.iloc[i
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

canaryW

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值