1.pytorch——Dataset的使用


Dataset的具体功能:

1.用来获取数据及其标签(label)

2.获取数据集的长度

示例代码:

from torch.utils.data import Dataset
from PIL import Image     #导入PIL中的Image类作为图像的存储类型
import os
class MyData(Dataset):

    def __init__(self,root_dir,label_dir):
        self.root_dir=root_dir  #数据根目录
        self.label_dir=label_dir  #数据标签
        self.path=os.path.join(self.root_dir,self.label_dir)  #数据所在地址,使用了os.path.join()用来拼接地址
        self.img_path=os.listdir(self.path)  #把每一个数据名称变成一个list
    def  __getitem__(self, idx):
        img_name=self.img_path[idx]
        img_item_path=os.path.join(self.root_dir,self.label_dir,img_name)  #获取的每一项图像的地址
        img=Image.open(img_item_path)    #图片的数据化
        label=self.label_dir
        return img,label

    def __len__(self):
        return len(self.img_path)   #数据长度
#实例化数据集
root_dir="dataset/train"
ant_label_dir="ants"
bees_label_dir="bees"
ants_dataset=MyData(root_dir,ant_label_dir)
bees_dataset=MyData(root_dir,bees_label_dir)
#数据集合可以拼接
train_dataset=ants_dataset+bees_dataset
#获取数据集数据
img,label=train_dataset[124]
img.show()

  • 15
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
引用\[1\]:在DCASE比赛中,使用了一个名为dcase_util的工具箱来处理大量的数据。其中,创建一个dataset对象的方法如下:db = dcase_util.datasets.DCASE2013_Scenes_DevelopmentSet(data_path='datasets')。这个方法会创建一个dataset对象,并将数据存储在'data'目录下。引用\[2\]:dcase_util工具箱是一个开源的工具箱,用于处理DCASE比赛中的数据。它提供了训练/验证集的划分、数据预处理和特征提取等功能。使用这个工具箱可以避免重复造轮子,但是需要了解其中的逻辑才能正确使用。引用\[3\]:在示例中,展示了如何使用torch.utils.data.Dataset来创建一个自定义的数据集。首先定义了一个TensorDataset,继承自Dataset,并重载了__init__(), __getitem__(), __len__()方法。这个可以将一组Tensor数据对封装成一个Tensor数据集,可以通过索引获取数据,也可以通过len()获取数据集的大小。然后使用这个来封装数据,可以通过索引调用数据,也可以通过len()获取数据集的大小。 问题:util.dataset是什么? 回答: 在提到util.dataset时,可能是指dcase_util工具箱中的datasets模块,用于处理DCASE比赛中的数据集。这个模块提供了创建和管理数据集的方法,可以方便地进行数据集的划分、预处理和特征提取等操作。通过使用这个模块,可以更加高效地处理DCASE比赛中的数据。 #### 引用[.reference_title] - *1* *2* [dcase_util学习笔记(一):dataset.initialize()概览](https://blog.csdn.net/cjf1699/article/details/107058114)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Pytorch构建数据集——torch.utils.data.Dataset()和torch.utils.data.DataLoader()](https://blog.csdn.net/weixin_41560402/article/details/108121344)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值