数据集读入

Dataset类代码实战

在配置好环境后

from torch.utils.data import Dataset
from PIL import Image
import os

class MyData(Dataset):

    def __init__(self,root_dir,label_dir):
        self.root_dir = root_dir
        self.label_dir = label_dir
        self.path = os.path.join(self.root_dir,self.label_dir)//获取ants目录下的全部文件,这里是列表集合
        self.img_path = os.listdir(self.path)

    def __getitem__(self, idx):
        img_name = self.img_path[idx]
        img_item_path = os.path.join(self.root_dir,self.label_dir,img_name)
        img = Image.open(img_item_path)
        label = self.label_dir
        return img,label

    def __len__(self):
        return len(self.img_path)

root_dir = "dataset/train"
ants_label_dir = "ants"
bees_label_dir = "bees"
ants_dataset = MyData(root_dir,ants_label_dir)
bees_dataset = MyData(root_dir,bees_label_dir)

train_dataset = ants_dataset + bees_dataset//继承Dataset类,重载 '+' 直接把数据集相加起来

写txt文件,一般把image 和 label标签分开存储,这里简易的手写一个,评论区写的

root_dir = 'dataset/train'
target_dir = 'ants_image'
img_path = os.listdir(os.path.join(root_dir, target_dir))
label = target_dir.split('_')[0]
out_dir = 'ants_label'
for i in img_path:
    file_name = i.split('.jpg')[0]
    with open(os.path.join(root_dir, out_dir,"{}.txt".format(file_name)),'w') as f:
        f.write(label)

主要文件的读写,绝对路径相对路径,地址转义等问题还是不清晰,挖个坑

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要将下载的数据读入内存,可以使用 PyTorch 的 `torchvision.datasets` 模块中提供的数据集类,例如 `ImageFolder` 类。这个类可以将指定路径下的图片数据集读取到内存中,并自动进行预处理和标签的生成。具体使用方法如下: ```python import torchvision.datasets as datasets import torchvision.transforms as transforms transform = transforms.Compose([ transforms.Resize(224), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) train_dataset = datasets.ImageFolder(root='path/to/train/data', transform=transform) test_dataset = datasets.ImageFolder(root='path/to/test/data', transform=transform) ``` 在上面的代码中,我们使用了 `ImageFolder` 类将指定路径下的数据集读取到内存中,并进行了预处理,其中 `root` 参数指定了数据集的根目录,`transform` 参数指定了数据预处理的方式。 如果数据集的标签信息存储在两个 `.label` 文件中,可以先将这两个文件读取到内存中,然后使用 Python 的字典类型将标签信息进行存储。具体实现方法如下: ```python train_labels = {} with open('path/to/train.label', 'r') as f: for line in f: img_name, label = line.strip().split() train_labels[img_name] = int(label) test_labels = {} with open('path/to/test.label', 'r') as f: for line in f: img_name, label = line.strip().split() test_labels[img_name] = int(label) ``` 在上面的代码中,我们使用了 Python 的 `open` 函数将 `.label` 文件读取到内存中,并使用 `strip` 方法去除了每行末尾的换行符,然后使用 `split` 方法将每行的数据分割成文件名和标签两部分,最后将这两个信息存储到了字典中。 读入标签信息后,我们可以根据数据集中的图片文件名来获取每个图片对应的标签信息,例如: ```python train_dataset.samples = [(path, train_labels[os.path.basename(path)]) for path, _ in train_dataset.samples] test_dataset.samples = [(path, test_labels[os.path.basename(path)]) for path, _ in test_dataset.samples] ``` 在上面的代码中,我们使用了 Python 的 `os` 模块中的 `os.path.basename` 函数来获取文件名,然后根据文件名从字典中获取标签信息,最后将文件路径和标签信息组成一个元组,并赋值给 `train_dataset.samples` 和 `test_dataset.samples`。这样,我们就将数据集的路径和标签信息存储在了一起。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值