pytorch用自己的数据集进行Dataloader,并对其划分数据集

最近在学pytorch,今天晚上用pytorch的数据加载部分,一开始一直在纠结怎么划分数据集,后来还是手动分了,开始是用torch.utils.data.random_split但是后来一直报错,我也不知道哪里有错,解决不了,后来暴力解决了

1.重写dataset类,这是必须要写的
  • 主要继承Dataset类,重写__getitem__,and __len__的方法
  • 我的问题:针对一个文件夹有n张图片,然后一个csv文件中有每个图片对应的label,具体样式如下
  • 在这里插入图片描述
步骤1:将image和label对应加载到一个数据集中
class SkinDataset(Dataset):
    def __init__(self,csv_file,root_dir,transform=None):
        self.csv=pd.read_csv(csv_file)
        self.root_dir=root_dir
        self.transform=transform
    def __len__(self):
        return len(self.csv)
    def __getitem__(self,idx):
        image_path=os.path.join(self.root_dir+self.csv.ix[idx,0]+'.jpg')
  • 8
    点赞
  • 48
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
PyTorch数据读取是构建深度学习模型的重要一环。为了高效处理大规模数据集PyTorch提供了三个主要的工具:Dataset、DataLoader和TensorDataset。 Dataset是一个抽象类,用于自定义数据集。我们可以继承Dataset类,并重写其的__len__和__getitem__方法来实现自己的数据加载逻辑。__len__方法返回数据集的大小,而__getitem__方法根据给定的索引返回样本和对应的标签。通过自定义Dataset类,我们可以灵活地处理各种类型的数据集DataLoader数据加载器,用于对数据集进行批量加载。它接收一个Dataset对象作为输入,并可以定义一些参数例如批量大小、是否乱序等。DataLoader能够自动将数据集划分为小批次,将数据转换为Tensor形式,然后通过迭代器的方式供模型训练使用。DataLoader数据准备和模型训练的过程起到了桥梁作用。 TensorDataset是一个继承自Dataset的类,在构造时将输入数据和目标数据封装成Tensor。通过TensorDataset,我们可以方便地处理Tensor格式的数据集。TensorDataset可以将多个Tensor按行对齐,即将第i个样本从各个Tensor取出,构成一个新的Tensor作为数据集的一部分。这对于处理多输入或者多标签的情况非常有用。 总结来说,Dataset提供了自定义数据集的接口,DataLoader提供了批量加载数据集的能力,而TensorDataset则使得我们可以方便地处理Tensor格式的数据集。这三个工具的配合使用可以使得数据处理变得更加方便和高效。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值