使用Pytorch框架自己制作做数据集进行图像分类

本文介绍了如何使用Python的PIL和PyTorch库对图像数据进行预处理,包括创建目录结构、读取图片、分配标签、转换为Tensor并划分训练集和测试集,最后使用DataLoader加载数据以便于深度学习模型训练。
摘要由CSDN通过智能技术生成

我的目录结构
在这里插入图片描述
每个文件夹对应一个分类。

import glob
import os
import numpy as np
from torchvision import transforms
from PIL import Image
from torch.utils import data

# # 借鉴于https://blog.csdn.net/zwy_697198/article/details/123561769


label_path = r"Dataset"  # Dtaset下面的数据标签
all_imgs_path = r'Dataset/*/*.png'  # 所有的图片文件列表
all_labels = []  # 标签
all_imgs_path_list = glob.glob(all_imgs_path)  # 数据文件夹路径生成的图片列表

# 为每张图片制作标签
items = os.listdir(label_path)
species = [item for item in items if os.path.isdir(os.path.join(label_path, item))]
species_to_id = dict((c, i) for i, c in enumerate(species))
id_to_species = dict((v, k) for k, v in species_to_id.items())

# 对所有图片路径进行迭代
for img in all_imgs_path_list:
    for i, c in enumerate(species):  # 区分出每个img,应该属于什么类别
        if c in img:
            all_labels.append(i)

# 对数据进行转换处理
transform = transforms.Compose([
    # transforms.Resize((224, 224)),  # 做的第一步转换
    transforms.ToTensor(),  # 第二步转换,作用:第一转换成Tensor,第二将图片取值范围转换成0-1之间,第三会将channel置前
    transforms.Normalize([0.485, 0.456, 0.406],
                         [0.229, 0.224, 0.225])
])


class MyDataset(data.Dataset):
    # 类初始化
    def __init__(self, all_imgs_path_list, all_labels, transform):
        self.imgs = all_imgs_path_list
        self.labels = all_labels
        self.transforms = transform

    # 进行切片
    def __getitem__(self, index):  # 根据给出的索引进行切片,并对其进行数据处理转换成Tensor,返回成Tensor
        img = self.imgs[index]
        label = self.labels[index]
        pil_img = Image.open(img)  # pip install pillow
        data = self.transforms(pil_img)
        return data, label

    # 返回长度
    def __len__(self):
        return len(self.imgs)


# 划分测试集和训练集
# 确保了图像路径和对应标签的顺序被随机打乱
index = np.random.permutation(len(all_imgs_path_list))
all_imgs_path_list = np.array(all_imgs_path_list)[index]
all_labels = np.array(all_labels)[index]

# 80% as train
s = int(len(all_imgs_path_list) * 0.8)
train_imgs = all_imgs_path_list[:s]
train_labels = all_labels[:s]
test_imgs = all_imgs_path_list[s:]
test_labels = all_labels[s:]

train_data = MyDataset(train_imgs, train_labels, transform)  # 训练集数据
test_data = MyDataset(test_imgs, test_labels, transform)  # 测试数据

BATCH_SIZE = 8
train_dataloader = data.DataLoader(train_data, batch_size=BATCH_SIZE, shuffle=True)  # 训练集标签
test_dataloader = data.DataLoader(test_data, batch_size=BATCH_SIZE)  # 测试集标签

主要就是把图片路径这里改了就行了
label_path = r"Dataset" # Dtaset下面的数据标签
all_imgs_path = r’Dataset//.png’ # 所有的图片文件列表

  • 6
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch制作自己的数据集可以通过继承`torch.utils.data.Dataset`类来实现。首先,你需要创建一个自定义的数据集类,例如`MyDataset`,并在该类中实现`__init__`、`__getitem__`和`__len__`方法。\[3\] 在`__init__`方法中,你可以初始化一些参数和函数,以便在`__getitem__`方法中使用。你还可以创建一个列表,用于存储图像和对应的标签。 在`__getitem__`方法中,你可以根据索引从文件中读取一个数据,例如使用`numpy.fromfile`或`PIL.Image.open`。然后,你可以对数据进行预处理,例如使用`torchvision.transforms`进行图像转换。最后,返回数据对,例如图像和标签。 在`__len__`方法中,你需要返回数据集的大小,即列表的长度。 下面是一个简单的示例代码,展示了如何制作一个自定义的数据集类: ```python import torch from torch.utils.data import Dataset from PIL import Image class MyDataset(Dataset): def __init__(self): super(MyDataset, self).__init__() # 初始化参数和函数 # 创建存储图像和标签的列表 def __getitem__(self, index): # 从文件中读取一个数据 # 预处理数据 # 返回数据对 def __len__(self): # 返回数据集大小 return len() ``` 你可以根据自己的需求在`__init__`、`__getitem__`和`__len__`方法中添加适当的代码来制作你的数据集。\[1\]\[2\] #### 引用[.reference_title] - *1* *2* [使用Pytorch框架自己制作数据进行图像分类(一)](https://blog.csdn.net/zwy_697198/article/details/123561769)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Pytorch制作自己的数据集](https://blog.csdn.net/Vertira/article/details/127482001)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值