人工智能学习06--pytorch05--torchvision中的数据集使用&DataLoader的使用

最新推荐文章于 2024-11-07 17:15:19 发布
最新推荐文章于 2024-11-07 17:15:19 发布
阅读量408 收藏 1
点赞数
分类专栏： pytorch 文章标签： 人工智能 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amwicd/article/details/128753779
版权

torchvision中的数据集使用

在这里插入图片描述
test_set的class属性
在这里插入图片描述
在这里插入图片描述
把数据集每一部分都变成tensor类型
现在输出的就是tensor数据类型了
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

DataLoader的使用

在这里插入图片描述

在这里插入图片描述

  • batch_size 一摞牌中，每次抓几张
  • shuffle 打乱，第二次打牌前，牌的顺序要跟第一次不一样（默认False：跟之前排序一样；一般设置为True）
  • num_works 多进程加载，默认0 （电脑核数不够，num_workers得调低）num_worker=0是指只有一个主进程
    在这里插入图片描述
  • drop_last 若一共一百张牌，每次取三张，最后会剩下一张，是否舍去它（True：只要前面99张牌）

在这里插入图片描述
在这里插入图片描述
target不是标签，是标签存放的位置，标签列表是calsses，真正的标签是classes[target]
在这里插入图片描述
第几次取数据的时候，数据长什么样
在这里插入图片描述
在这里插入图片描述
剩余的数据集只有16张，不足64张
在这里插入图片描述
将drop_last设置为True，可以看到把数据集最后的部分进行舍去
（一定要给add.images里面改名！）
在这里插入图片描述

把shuffle改为False
可以看到取的都是一样的
在这里插入图片描述

把shuffle改为True
在这里插入图片描述
在这里插入图片描述
一般把imgs作为神经网络的输入

小金金金金鱼
关注
专栏目录
Pytorch深度学习-----DataLoader的用法
LGL
07-27 1671
组合了数据集（dataset） + 采样器(sampler)，如果把Dataset比作一副扑克牌，则DataLoader就是每次手中处理的某一批扑克牌，然后每一批取多少张，总共能取多少批，用不用打乱顺序等，都可以在创建DataLoader时从参数自行设定。dataloader会将上面的img0……img3进行打包成imgs。- 如果为True会将数据放置到GPU上去（默认为false）在上述中共有15个参数，我们常用的有如下5个参数。– 表示每次从数据集中取多少个数据。– 表示要读取的数据集。
Pytorch深度学习实战3-7：详解数据加载DataLoader与模型处理
FRIGIDWINTER的博客
03-22 2879
本文以MNIST手写数据集为例，图文讲解Pytorch中操作数据的核心类Dataset和DataLoader，介绍其基本原理和主要的数据预处理方法
【03】torchvision数据集
cocapop的博客
04-05 315
① torchvision中有很多数据集，当我们写代码时指定相应的数据集指定一些参数，它就可以自行下载。② CIFAR-10数据集包含60000张32×32的彩色图片，一共10个类别，其中50000张训练图片，10000张测试图片。
关于DataLoader:default_collate(batch)，Batch自动变成Tensor数据类型的探索
目标：NLP算法工程师
12-14 2754
1、我DataLoader中DateSet的数据形式为 ([101, 860, 7741, 9648, 2330, 2292, 953, 1921, 2248, 7987, 6381, 1282, 1920, 1158, 3173, 3519, 6229, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
pytorch中Dataloader的使用
ruichuang2的博客
08-20 1337
无
pytorch DataLoader(1): opencv,skimage,PIL,Tensor转换以及transforms
Mao_Jonah的博客
05-24 4368
前置知识 在使用pytorch进行dataload，transform之前，需要了解一些数据的知识，许多人使用不同的接口因为不熟悉犯了一些错误。在这里对一些常用的OpenCV,PIL,skimage进行了一些总结，以及pytorchvision.transorforms的一些简单使用。 import cv2 from PIL import Image from skimage import io, transform, color import matplotlib.pyplot as plt import
pytorch下载自带数据集并transform
种一棵树最好的时间是十年前，其次是现在
03-19 1494
import os.path import numpy as np import torch import cv2 from PIL import Image from torch.utils.data import Dataset import re from functools import reduce from torch.utils.tensorboard import SummaryWriter as Writer from torchvision import transforms impor
pytorch学习（5）——torchvision中的数据集使用
qq_45362336的博客
07-22 333
进入pytorch官网（需要梯子）：https://pytorch.org（1）点击Models and pre-trained weights可以下载已经训练好的神经网络。（2）点击Datasets可以下载数据集。
code-of-learn-deep-learning-with-pytorch.rar
07-21
《深度学习代码包》是一个关于使用PyTorch进行深度学习实践的资源集合，它涵盖了人工智能、深度学习和机器学习领域的核心概念与应用。PyTorch是Facebook开发的一个强大的开源库，广泛用于研究和开发，其灵活性和易用...
Deep-Learning-with-PyTorch-Tutorials-master(1).zip
02-26
《PyTorch深度学习教程全解析》 PyTorch，作为一款开源的机器学习库，以其易用性和灵活性深受广大...通过深入学习本教程，无论你是初学者还是经验丰富的开发者，都能掌握PyTorch的精髓，自如地进行人工智能设计。
PyTorch源码解读之torch.utils.data.DataLoader
热门推荐
AI之路
01-14 22万+
PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有点承上启下的
【pytorch】训练集的读取
feifei
06-16 1万+
pytorch读取训练集是非常便捷的，只需要使用到2个类： （1）torch.utils.data.Dataset （2）torch.utils.data.DataLoader 常用数据集的读取 1、torchvision.datasets的使用 对于常用数据集，可以使用torchvision.datasets直接进行读取。torchvision.dataset是torch.utils.
简单测试一下pytorch dataloader里的shuffle=True是如何工作的
我在浪里
04-22 2万+
import sys import torch import random import argparse import numpy as np import pandas as pd import torch.nn as nn from torch.nn import functional as F from torch.optim import lr_scheduler from torch...
自助餐剩余食品识别图像分割系统：教学内容全覆盖
sgcsdn99的博客
11-04 1442
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 297
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
一次薅国家超算平台的记录
最新发布
weixin_55179972的博客
11-07 305
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
在后LLM时代，关于新一代智能体的思考
langboat_mengzi的博客
11-07 461
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
CVPR2024：PKINet(上下文锚点注意力机制)
kuailezzf的博客
11-06 415
PKINet采用无扩展的多尺度卷积核来提取不同尺度的目标特征并捕获局部上下文。具体来说，首先，PKINet不依赖于大核卷积或膨胀卷积来扩展感受野，而是利用无扩展的深度卷积（inception-style）来提取不同感受野之间的多尺度纹理特征。最后，这两个模块协同工作，促进了局部和全局上下文信息的自适应特征提取，从而提高了遥感目标检测的性能。为了解决上述问题，以前的方法是通过大核卷积或膨胀卷积来扩展主干网络的空间感受野。但是，前者通常会引入相当大的背景噪声，而后者可能会产生过于稀疏的特征表示。
Python的自然语言生成与对话系统介绍
余生的博客
11-05 798
自然语言生成(Natural Language Generation，NLG)和对话系统是人工智能领域的重要研究方向。NLG 涉及将计算机理解的信息转换为自然语言文本，而对话系统则涉及计算机与用户之间的自然语言交互。Python 作为一种易于学习、易于使用的编程语言，在这两个领域中发挥了重要作用。核心概念与联系核心算法原理和具体操作步骤数学模型公式详细讲解具体最佳实践：代码实例和详细解释说明实际应用场景工具和资源推荐总结：未来发展趋势与挑战。
使用pytorch编写一个使用NSL-KDD数据集训练的联邦学习模型
03-26
注：本文为AI（人工智能）语言模型输出的结果，可能需要人工修订。 暂无NSL-KDD数据集，下面给出的是在CIFAR-10数据集上训练的联邦学习模型，可以参考实现方法。 首先，我们需要准备数据集，并按照设定的参与者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值