加载自定义pytorch数据集

from torch.utils.data import DataLoader, Dataset, random_split
import torch
a = torch.tensor([[11, 22, 33], [44, 55, 66], [77, 88, 99], [11, 22, 33], [44, 55, 66], [77, 88, 99], [11, 22, 33], [44, 55, 66], [77, 88, 99], [11, 22, 33], [44, 55, 66], [77, 88, 99]])
b = torch.tensor([0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2])
c = torch.tensor([0, 1, 1, 0, 1, 2, 0, 1, 2, 0, 1, 2])
#自定义数据集
class myDataSet(Dataset):
    def __init__(self,input_ids,mask,label):
        self.input_ids =input_ids
        self.mask =mask
        self.label = label
     #数据集长度
    def __len__(self):
        return len(self.input_ids)
     #单个数据
    def __getitem__(self,idx):
        return self.input_ids[idx],self.mask[idx],self.label[idx]
dataset = myDataSet(a,b,c)
train_size = int(0.9 * len(dataset))
val_size = len(dataset) - train_size
train_dataset, val_dataset = random_split(dataset, [train_size, val_size])
batch_size=3
train_dataloader = DataLoader(train_dataset,batch_size=batch_size,shuffle =True)
# val_dataloader = DataLoader(val_dataset ,batch_size=batch_size,shuffle =True)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值