pytorch 入门Load Dataset

知识点1、读取数据
知识点2、显示第一个图像信息
知识点3、图像转tensor
知识点4、转batch
知识点5、以label排序

from torchvision.datasets import ImageFolder
import matplotlib.pyplot as plt

知识点1
这里的文件夹是包含整个数据的文件夹,文件的文件夹,再下面才是具体的图片

folder_set = ImageFolder('./data/testload')
print(folder_set.class_to_idx)
print(folder_set.imgs)

知识点2
显示第一个图像的信息

im, label = folder_set[0]
plt.imshow(im)
plt.show()
print(label)

知识点3
把图像转化为tensor

from torchvision import transforms as tfs
data_tf =  tfs.ToTensor()
folder_set = ImageFolder('./data/testload', transform=data_tf)
im, label = folder_set[0]
print(im.shape)

知识点4
把图像集转化为batch的形式

from torch.utils.data import DataLoader
train_data1 = DataLoader(folder_set, batch_size=3, shuffle=True)
for im, label in train_data1:
    print(label)
# 显示第一个数据
im, laebel = next(iter(train_data1))

知识点5
以第二列为标准排序

batch.sort(key=lambda x: len(x[1]), reverse=True)  
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Pytorch中遍历dataset可以使用torch.utils.data.DataLoader这个类。在初始化DataLoader时,一般常用的参数有dataset、batch_size、shuffle和num_workers等。其中dataset就是我们构建的自定义dataset类。在使用时,可以直接使用for循环来遍历dataloader对象,并且可以通过迭代器的方式输出每个batch的数据。具体实现如下: ```python import torch from torch.utils.data import DataLoader # 创建自定义的dataset对象 dataset = MyDataset() # 创建dataloader对象,并指定batch_size和是否进行数据打乱 dataloader = DataLoader(dataset, batch_size=32, shuffle=True) # 遍历dataloader对象 for batch_data in dataloader: # 处理每个batch的数据 inputs, labels = batch_data # 进行模型的训练或预测等操作 ... ``` 在遍历dataloader时,实际上是从dataset中取出数据,只是在取数据的规则上进行了一些修改,比如可以进行数据的打乱操作。因此,在遍历dataloader时,会调用自己定义的dataset类中的__getitem__()方法来获取数据。通过这种方式,我们可以方便地对数据进行mini-batch的训练。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [使用Pytorch中的Dataset类构建数据集的方法及其底层逻辑](https://blog.csdn.net/rowevine/article/details/123631144)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [对pytorch中的dataset和dataloader的一些理解](https://blog.csdn.net/weixin_45700881/article/details/128351086)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值