代码实战（小土堆）——DataLoader的使用

qq_42022648

已于 2024-01-29 17:47:40 修改

阅读量417

点赞数 8

分类专栏：小土堆代码实战文章标签：深度学习 pytorch python

于 2024-01-29 14:29:14 首次发布

本文链接：https://blog.csdn.net/qq_42022648/article/details/135910558

版权

小土堆代码实战专栏收录该内容

22 篇文章 2 订阅

订阅专栏

本文介绍了如何使用PyTorch中的DataLoader对CIFAR10数据集进行批处理，探讨了shuffle选项对数据顺序的影响以及如何使用TensorBoard记录训练过程中的图像。

摘要由CSDN通过智能技术生成

DataLoader

dataset：数据
batch_size：每次取几张img
shuffle：打乱
num_workers：多进程（默认是0）
drop_last：多余的要不要舍去

import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

# 准备的测试数据集
test_data = torchvision.datasets.CIFAR10("./dataset", train=False, transform=torchvision.transforms.ToTensor())

# 加载数据
test_loader = DataLoader(dataset=test_data, batch_size=64, shuffle=True, num_workers=0, drop_last=True)

# 测试数据集中的第一张图片
img, target = test_data[0]
print(img.shape)
print(target)

tensorboard显示

writer = SummaryWriter("dataloader")
step = 0
# 取出test_loader中的每一个返回
for data in test_loader:
    imgs, targets = data
    # print(imgs.shape)
    # print(targets)
    writer.add_images("test_data_drop_last", imgs, step)
    step = step + 1

结果

drop_last=False(除不尽的不会舍去)

drop_last=True(除不尽的舍去)

shuffle

# 准备的测试数据集
test_data = torchvision.datasets.CIFAR10("./dataset", train=False, transform=torchvision.transforms.ToTensor())
# 加载数据
test_loader = DataLoader(dataset=test_data, batch_size=64, shuffle=False, num_workers=0, drop_last=True)
# 测试数据集中的第一张图片
img, target = test_data[0]
print(img.shape)
print(target)

writer = SummaryWriter("dataloader")
# 取出test_loader中的每一个返回
for epoch in range(2):
    step = 0
    for data in test_loader:
        imgs, targets = data
        writer.add_images("Epoch: {}".format(epoch), imgs, step)
        step = step + 1

writer.close()