根据任务需求自制数据集：Pytorch自定义数据集Dataset代码示例（有监督学习，输入输出均为图像）

NorthSmile

已于 2022-09-07 17:20:22 修改

阅读量1k

点赞数

分类专栏：深度学习文章标签： pytorch 学习 python 深度学习人工智能

于 2022-08-11 18:16:55 首次发布

本文链接：https://blog.csdn.net/qq_43665602/article/details/126290600

版权

深度学习同时被 2 个专栏收录

37 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

Pytorch

32 篇文章

订阅专栏

本文介绍了如何在Pytorch中创建自定义数据集，重点关注使用torchvision.io和PIL读取图像，并讨论了数据归一化的两种方法：ToTensor和Normalize。内容包括链接到详细教程和归一化参数的选择建议。

摘要由CSDN通过智能技术生成

自定义数据集

一、使用torchvision.io读取照片
二、使用PIL读取照片

一、使用torchvision.io读取照片

import numpy as np
import torch
from PIL import Image
import numpy
from matplotlib import pyplot as plt
from torch.utils.data import Dataset,DataLoader

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

NorthSmile

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

byol-pytorch：在Pytorch中从Deepmind中实现“引导自己的潜能”自我监督学习的可用实现

02-04

在Pytorch中引导您自己的潜能（BYOL）自我监控学习的一种非常实际实现，无需对比学习，也不必指定否定对，就可以达到一种新的技术水平（超越SimCLR）。该存储库提供了一个模块，可以轻松包装任何基于图像的神经网络（残留网络，鉴别器，策略网络），以立即开始从未标记的图像数据中受益。更新1：现在有表明批处理规范化是使此技术正常运行的关键更新2：一篇成功地用组规范+权重标准化替换了批次规范，驳斥了BYOL起作用所需的批次统计信息现在，让您的组织不必为标签付费：) 安装 $ pip install byol-pytorch 用法只需插入您的神经网络，即可指定（1）图像尺寸以及（2

Pytorch 创建Dataset类，加载我们自己的数据集及优化

qq_42105477的博客

10-02

8545

为什么要学习加载自己的数据集 Pytorch自带有许多数据集，他们的格式都已经指定，如： MNIST COCO（用于图像标注和目标检测）(Captioning and Detection) LSUN Classification ImageFolder Imagenet-12 CIFAR10 and CIFAR100 STL10 这些都是可以供我们初学者学习使用的训练集，在使用过程中我们一般通过函数调用的方式，将数据集拿到，如下： def get_data_loader(BATCH_SIZE=128,tr

参与评论您还未登录，请先登录后发表或查看评论

pytorch Dataset类代码学习

qq_58739767的博客

08-22

995

OSError: [WinError 123] 文件名、目录名或卷标语法不正确。: 'dataset\train\\ants'创建数据集，包括路径与标签。了，不能直接用复制粘贴里面来的。然而，出现如下的一些。

自监督学习 (Self-Supervised Learning) 算法详解与PyTorch

最新发布

qq_42568323的博客

01-08

1189

自监督学习（Self-Supervised Learning）是一种无监督学习方法，通过从数据本身生成标签来训练模型。自监督学习的核心思想是利用数据的内在结构，设计预训练任务，使模型能够学习到有用的特征表示。自监督学习广泛应用于图像、文本、语音等领域。CIFAR-10数据集是一个经典的图像分类数据集，包含60000个32x32彩色图像，分为10个类别，每个类别有6000个图像。目标是识别图像中的物体类别。

pytorch——Dataset类代码实战

cfqp123456的博客

01-08

282

pytorch——Dataset类代码实战

【学习笔记】【Pytorch】一、Dataset类代码实战

qq_45772756的博客

01-09

256

Pytorch教程之Dataset类代码实战

pytorch学习笔记1-Dataset类代码实战

ThreeS_tones的博客

01-18

485

pytorch学习总结，dataset类代码实战

（2-3）制作数据集

码农三叔

01-01

3796

制作数据集是机器学习和深度学习任务中的关键步骤之一，它涉及收集、整理和准备数据，以便用于模型的训练、验证和测试。

【CNN实战】利用CNN对自定义数据集进行分类（附完整代码）

lixinyu990724的博客

11-08

1648

在本篇文章中将详细地、一步一步介绍如何对自己采集到的数据进行预处理，以及如何利用CNN对这些处理好的数据进行分类识别。

【AXU3EGB开发板终极指南】：自制数据集检测开发手册大揭秘

[【AXU3EGB开发板终极指南】：自制数据集检测开发手册大揭秘](https://ask.qcloudimg.com/http-save/yehe-1621453/86d15c2e2c4e0e9046ebd3cdf25edd9e.png) # 摘要本文全面介绍了AXU3EGB开发板在数据检测中的应用，...

YOLOv8自定义数据集训练全攻略：从零到英雄的全程指南

![YOLOv8自定义数据集训练全攻略：从零到英雄的全程指南]...文中还指导了如何制作和标注自定义数据集，包括数据集的选择、预处理和标注工具介

pytorch的自定义数据集，和dataset中的图片展示

tony365的博客

10-18

571

关于dataset, datalloader的使用，以及图像展示，相关参数说明 3. Preparing your data for training with DataLoaders 2中的dataset只能一个一个的获取样本，然而在训练的时候往往需要多个训练样本组成 batch，以及对顺序进行打乱避免过拟合。The DataLoader is an iterable t

手撕Pytorch源码#1.Dataset类 part1

qq_61080482的博客

01-16

688

手撕Pytorch代码#1 Dataset part

Pytorch自定义数据集（用DataSet实现)

gc.collect()

04-09

1万+

Pytorch自定义数据集方法，应该是用pytorch做算法的最基本的东西。往往网络上给的demo都是基于torch自带的MNIST的相关类。所以，为了解决使用其他的数据集，在查阅了torch关于MNIST数据集的源码之后，很容易就可以推广到了我们自己需要的代码上。

PyTorch|Dataset与DataLoader使用、构建自定义数据集

热门推荐

weixin_47748259的博客

04-06

1万+

构建自定义的Dataset类，需要继承TensorFlow的官方dataset类自定义Dataset类必须实现三个函数:__init__，__len__和__getitem__pytorch中的dataset类是在pytorch的torch下的utils之下的data文件夹里有一个dataset.py。

Pytorch自定义数据集

极歌科技

02-03

772

自定义数据集的代码如下： import os import pandas as pd from torchvision.io import read_image class CustomImageDataset(Dataset): def __init__(self, annotations_file, img_dir, transform=None, target_transfor...

PySSL：自监督学习的PyTorch实现

gitblog_00652的博客

09-13

603

PySSL：自监督学习的PyTorch实现 pyssl Self-Supervised Learning in PyTorch 项目地址: https://gitcode.com/gh_mirrors/py/pyssl ...

pytorch-Dataset自定义

我渊啊我渊啊的博客

08-25

394

【代码】pytorch-Dataset自定义。

【Pytorch Lighting】第 8 章：自监督学习

sikh_0529的博客

11-07

1265

自机器学习问世以来，该领域被整齐地划分为两个阵营：监督学习和无监督学习。在监督学习中，应该有一个可用的标记数据集，如果不是这样，那么剩下的唯一选择就是无监督学习。虽然无监督学习听起来很棒，因为它可以在没有标签的情况下工作，但在实践中，无监督方法（如聚类）的应用非常有限。评估无监督方法的准确性或部署它们也没有简单的选择。最实用的机器学习应用程序往往是监督学习应用程序（例如，识别图像中的对象、预测未来的股票价格或销售量，或者在 Netflix 上向您推荐合适的电影）。监督学习的权衡是精心策划和高质量可信赖标签的